Suuren läpäisyn reunareititys ja yhteyspoolit
API-yhdyskäytävät ja reunainfrastruktuuriArkkitehtuurin pullonkaula
Äkilliset samanaikaiset webhook-purskeet nostavat p99-viiveen selvästi yli budjetin. Jokainen pyyntö avaa uuden yhteyden taustapalveluun, joten TCP- ja TLS-kättelyt, lyhytikäisten porttien loppuminen ja estävä käsittely kasautuvat juuri liikennehuipussa.
Tekninen lähestymistapa
- Päätä asiakasyhteydet asynkroniseen reunaproxyyn ja pidä jokaiseen taustapalveluun lämpimiä keep-alive-pooleja, jotka mitoitetaan huippurinnakkaisuuden mukaan.
- Käytä HTTP/2-multipleksausta taustapalveluihin, jotka tukevat sitä, jotta purskeet jakavat yhteydet uusien avaamisen sijaan.
- Reititä otsakkeiden perusteella puskuroimatta runkoa; rajaa rungon koko reittikohtaisesti ja virtaa sisältö eteenpäin.
- Rajaa jonot ja aseta reittikohtaiset aikakatkaisut, jotta ylikuorma karsitaan ajoissa vastauksella 503 ja Retry-After eikä järjestelmä jumiudu.
Miten onnistumista mitataan
- Reunan p95/p99-viive reittikohtaisesti sovitussa budjetissa synteettisissä purskekokeissa
- Taustayhteyksien uudelleenkäyttöaste ja uusien kättelyjen määrä purskeiden aikana
- Ei pudonneita tai katkenneita yhteyksiä tavoitepurskekoolla
- Reunan jonotusaika raportoidaan erikseen taustapalvelun ajasta