Suure läbilaskevõimega servamarsruutimine ja ühenduste kogumid
API-lüüsid ja servataristuArhitektuuriline kitsaskoht
Äkilised samaaegsed webhooki pursked tõstavad p99-latentsuse eelarvest kaugele üle. Iga päring avab uue ühenduse taustateenusega, nii et TCP- ja TLS-kätlused, lühiajaliste portide nappus ja blokeeriv töötlus kuhjuvad just liiklusetipus.
Tehniline lähenemine
- Lõpeta klientühendused asünkroonses servaproksis ja hoia iga taustateenuse suunas sooje keep-alive-kogumeid, mis on mõõdetud tipusamaaegsuse järgi.
- Kasuta HTTP/2 multipleksimist taustateenustega, mis seda toetavad, et pursked jagaksid ühendusi uute avamise asemel.
- Marsruudi päiste järgi sisu puhverdamata; piira sisu suurust marsruudi kaupa ja voogedasta sisu edasi.
- Piira järjekordi ja sea marsruudipõhised ajalõpud, et ülekoormus lükataks varakult tagasi vastusega 503 ja Retry-After, mitte ei jääks süsteem seisma.
Kuidas edu mõõdetakse
- Serva p95/p99-latentsus marsruudi kaupa kokkulepitud eelarve piires sünteetilistes purskekatsetes
- Taustaühenduste taaskasutuse määr ja uute kätluste osakaal pursete ajal
- Sihtpurske suuruse juures ei katke ega lähtestu ühtegi ühendust
- Serva järjekorraaeg esitatakse taustateenuse ajast eraldi