Routage en périphérie à haut débit et pools de connexions
Passerelles API et infrastructure de périphérieGoulet d’étranglement
Des rafales soudaines de webhooks simultanés poussent la latence p99 bien au-delà du budget. Chaque requête ouvre une nouvelle connexion amont : les poignées de main TCP et TLS, la pénurie de ports éphémères et le traitement bloquant s’accumulent précisément au pic de trafic.
Approche d’ingénierie
- Terminer les connexions clientes sur un proxy de périphérie asynchrone et maintenir vers chaque service amont des pools keep-alive chauds, dimensionnés selon la concurrence de pointe.
- Utiliser le multiplexage HTTP/2 vers les services amont qui le prennent en charge, afin que les rafales partagent les connexions au lieu d’en ouvrir de nouvelles.
- Router sur les en-têtes sans mettre les corps en mémoire tampon ; plafonner la taille des corps par route et les transmettre en flux.
- Borner les files d’attente et fixer des délais par route pour rejeter tôt la surcharge avec 503 et Retry-After plutôt que de bloquer.
Mesure du succès
- Latence p95/p99 en périphérie par route dans le budget convenu lors de tests de rafales synthétiques
- Taux de réutilisation des connexions amont et part de nouvelles poignées de main pendant les rafales
- Aucune connexion perdue ou réinitialisée à la taille de rafale cible
- Temps d’attente en périphérie mesuré séparément du temps amont