Edge-routing med hög genomströmning och anslutningspooler
API-gateways och edge-infrastrukturArkitektonisk flaskhals
Plötsliga samtidiga webhook-skurar driver p99-latensen långt över budget. Varje anrop öppnar en ny uppströmsanslutning, så TCP- och TLS-handskakningar, brist på kortlivade portar och blockerande hantering staplas just när trafiken toppar.
Tekniskt angreppssätt
- Terminera klientanslutningar i en asynkron edge-proxy och håll varma keep-alive-pooler mot varje uppström, dimensionerade efter toppsamtidighet.
- Använd HTTP/2-multiplexering mot uppströmmar som stöder det, så att skurar delar anslutningar i stället för att öppna nya.
- Dirigera på huvuden utan att buffra kroppar; begränsa kroppsstorlek per route och strömma innehållet vidare.
- Begränsa köer och sätt tidsgränser per route så att överlast avvisas tidigt med 503 och Retry-After i stället för att låsa sig.
Hur framgång mäts
- p95/p99-latens vid kanten per route inom överenskommen budget i syntetiska skurtester
- Återanvändningsgrad för uppströmsanslutningar och andel nya handskakningar under skurar
- Inga tappade eller återställda anslutningar vid målskurstorleken
- Kötid vid kanten redovisas separat från uppströmstid