Edge-ruting med høy gjennomstrømning og tilkoblingspooler
API-gatewayer og edge-infrastrukturArkitektonisk flaskehals
Plutselige samtidige webhook-utbrudd presser p99-latensen langt over budsjett. Hver forespørsel åpner en ny oppstrømstilkobling, så TCP- og TLS-håndtrykk, mangel på kortlevde porter og blokkerende håndtering hoper seg opp nettopp når trafikken topper seg.
Teknisk tilnærming
- Terminer klienttilkoblinger i en asynkron edge-proxy og hold varme keep-alive-pooler mot hver oppstrøm, dimensjonert etter toppsamtidighet.
- Bruk HTTP/2-multipleksing mot oppstrømmer som støtter det, slik at utbrudd deler tilkoblinger i stedet for å åpne nye.
- Rut på headere uten å bufre innholdet; begrens innholdsstørrelse per rute og strøm innholdet videre.
- Begrens køer og sett tidsavbrudd per rute slik at overbelastning avvises tidlig med 503 og Retry-After i stedet for å henge.
Slik måles suksess
- p95/p99-latens i kanten per rute innenfor avtalt budsjett i syntetiske utbruddstester
- Gjenbruksgrad for oppstrømstilkoblinger og andel nye håndtrykk under utbrudd
- Ingen tapte eller nullstilte tilkoblinger ved målstørrelsen på utbrudd
- Køtid i kanten rapportert separat fra oppstrømstid