API-infrastruktuuri ja taustajärjestelmien ohjelmistokehitys

Suomi

Referenssiskenaariot

Arkkitehtuurin referenssiskenaariot ja toteutusmallit

Kahdeksan toistuvaa infrastruktuuriongelmaa ja mallit, joilla niihin tartumme. Jokainen skenaario kuvaa vikatilan, teknisen lähestymistavan ja sen, miten onnistumista mitataan.

Huom.Seuraavat referenssiskenaariot havainnollistavat vakiintuneita arkkitehtuurimalleja, järjestelmäsuunnittelun menetelmiä ja teknisiä tavoitetasoja suuren rinnakkaisuuden infrastruktuuripullonkaulojen ratkaisemiseksi.

01

Suuren läpäisyn reunareititys ja yhteyspoolit

API-yhdyskäytävät ja reunainfrastruktuuri
Kaavio: Suuren läpäisyn reunareititys ja yhteyspoolit

Arkkitehtuurin pullonkaula

Äkilliset samanaikaiset webhook-purskeet nostavat p99-viiveen selvästi yli budjetin. Jokainen pyyntö avaa uuden yhteyden taustapalveluun, joten TCP- ja TLS-kättelyt, lyhytikäisten porttien loppuminen ja estävä käsittely kasautuvat juuri liikennehuipussa.

Tekninen lähestymistapa

  1. Päätä asiakasyhteydet asynkroniseen reunaproxyyn ja pidä jokaiseen taustapalveluun lämpimiä keep-alive-pooleja, jotka mitoitetaan huippurinnakkaisuuden mukaan.
  2. Käytä HTTP/2-multipleksausta taustapalveluihin, jotka tukevat sitä, jotta purskeet jakavat yhteydet uusien avaamisen sijaan.
  3. Reititä otsakkeiden perusteella puskuroimatta runkoa; rajaa rungon koko reittikohtaisesti ja virtaa sisältö eteenpäin.
  4. Rajaa jonot ja aseta reittikohtaiset aikakatkaisut, jotta ylikuorma karsitaan ajoissa vastauksella 503 ja Retry-After eikä järjestelmä jumiudu.

Miten onnistumista mitataan

  • Reunan p95/p99-viive reittikohtaisesti sovitussa budjetissa synteettisissä purskekokeissa
  • Taustayhteyksien uudelleenkäyttöaste ja uusien kättelyjen määrä purskeiden aikana
  • Ei pudonneita tai katkenneita yhteyksiä tavoitepurskekoolla
  • Reunan jonotusaika raportoidaan erikseen taustapalvelun ajasta
02

Monoliitin vaiheittainen purkaminen (strangler fig)

Legacy-järjestelmien modernisointi
Kaavio: Monoliitin vaiheittainen purkaminen (strangler fig)

Arkkitehtuurin pullonkaula

Tiukasti kytketty PHP-monoliitti sekoittaa liiketoimintalogiikan ja tietokantakäsittelyn. Jokainen julkaisu koskee kaikkea, yhden moduulin regressio voi kaataa koko järjestelmän, eikä mitään osaa voi skaalata erikseen.

Tekninen lähestymistapa

  1. Sijoita monoliitin eteen reitittävä julkisivu, jotta yksittäisiä reittejä voidaan vaihtaa ilman muutoksia asiakkaisiin.
  2. Kuvaa nykyinen käyttäytyminen karakterisointitesteillä ennen kyvykkyyden irrottamista.
  3. Irrota yksi rajattu toimialue kerrallaan omaan konttiinsa ja pidä istunto- ja datasopimukset yhteensopivina siirtymän ajan.
  4. Aja ensin varjoajona, siirrä sitten liikennettä reitti kerrallaan ja poista vanha koodi, kun uusi polku on todettu toimivaksi.

Miten onnistumista mitataan

  • Irrotettujen palveluiden julkaisutiheys monoliitista riippumatta
  • Irrotettujen konttien itsenäinen horisontaalinen skaalautuminen kuormassa
  • Katkoton siirto jokaisella siirretyllä reitillä varjovertailun tuloksin todennettuna
  • Tosiasiallisesti poistettu vanha koodi ja taulut
03

Tilaton, virtaava XML- ja rakenteisen datan jäsennys

Suuren volyymin dataputket
Kaavio: Tilaton, virtaava XML- ja rakenteisen datan jäsennys

Arkkitehtuurin pullonkaula

Suurten ja syvästi sisäkkäisten XML- ja ISO 20022 -sanomien DOM-pohjainen jäsennys lataa kokonaiset dokumentit muistiin. Jatkuvassa kuormassa työprosessit törmäävät muistirajoihin, prosessori täyttyy ja yksi virheellinen tiedosto voi pysäyttää koko erän.

Tekninen lähestymistapa

  1. Lue dokumentit kovennetulla pull-jäsentimellä (ei DTD:itä, ei ulkoisia entiteettejä) ja käsittele yksi tietue kerrallaan.
  2. Validoi jokainen tietue sen ilmoittamaa skeemaversiota vasten esikäännetyillä validaattoreilla.
  3. Poista duplikaatit lyhytikäisellä hajautetulla lukolla sanomatunnisteen mukaan, esimerkiksi Redisin SET NX ja TTL.
  4. Normalisoi kanoniseen malliin, julkaise eteenpäin ja siirrä hylätyt karanteeniin koneluettavan raportin kanssa.

Miten onnistumista mitataan

  • Vakaa muistinkäyttö työprosessia kohden tiedoston koosta riippumatta
  • Jatkuva sanomaa sekunnissa -läpäisy tavoitevolyymilla
  • Deterministinen validointi: sama syöte johtaa aina samaan hyväksyntään tai hylkäykseen
  • Duplikaattien eston osuus ja karanteenin määrä lähettäjittäin
04

Zero trust -työkuormaidentiteetti ja lähettäjään sidotut tokenit

Palveluiden välinen tietoturva
Kaavio: Zero trust -työkuormaidentiteetti ja lähettäjään sidotut tokenit

Arkkitehtuurin pullonkaula

Sisäiset palvelut luottavat verkkoon ja todentavat staattisilla API-avaimilla tai pitkäikäisillä JWT-tokeneilla. Vuotanut token voidaan käyttää uudelleen, ja yksi murrettu työkuorma voi liikkua sivuttain mihin tahansa sisäiseen rajapintaan.

Tekninen lähestymistapa

  1. Myönnä jokaiselle palvelulle lyhytikäinen X.509-työkuormaidentiteetti (SPIFFE ID) ja kierrätä se automaattisesti.
  2. Pakota molemminpuolinen TLS kaikelle palveluiden väliselle liikenteelle siirtyen sallivasta tilasta tiukkaan nimiavaruus kerrallaan.
  3. Sido käyttöoikeustokenit asiakkaan avaimiin DPoP:lla yhdyskäytävässä ja jaa todisteiden toistonestovälimuisti.
  4. Lisää työkuormaidentiteettikohtaiset, oletuksena estävät valtuutussäännöt.

Miten onnistumista mitataan

  • Molemminpuolisen TLS:n kattama osuus palveluiden välisestä liikenteestä (tavoite: kaikki)
  • Varmenteiden kierrätysväli ja uusimisvirheiden osuus
  • Sitomattomien, vanhentuneiden ja toistettujen tokenien hylkäys automaattitesteissä
  • Valtuutussääntöjen estot katselmoituina ja selitettyinä
05

Mukautuva reunan pyyntörajoitus ja käyttäytymispohjainen poikkeamasuodatus

Liikenteenhallinta ja reunan vikasietoisuus
Kaavio: Mukautuva reunan pyyntörajoitus ja käyttäytymispohjainen poikkeamasuodatus

Arkkitehtuurin pullonkaula

Automaattinen haravointi, tunnusten kokeilu ja purskeinen ei-inhimillinen liikenne pääsevät suodattamattomina taustapalveluun. Tietokannan työprosessit täyttyvät, oikeat käyttäjät kohtaavat aikakatkaisuja ja kapasiteettia kuluu pyyntöihin, joiden ei olisi pitänyt edes saapua.

Tekninen lähestymistapa

  1. Tunnista pyynnöt reunalla (asiakastunniste, verkko, käyttäytyminen) ja pidä laskurit jaetussa muistivarastossa.
  2. Käytä token bucketeja purskeiden sietämiseen ja liukuvia ikkunoita tiukkoihin jaksorajoihin asiakas-, tili- ja reittikohtaisesti.
  3. Palauta rajan ylittävälle liikenteelle 429 ja Retry-After, ja epäilyttävälle mutta epävarmalle liikenteelle lisätarkistus.
  4. Tarjoa kaikille kävijöille sama sisältö; suodatin päättää vain, päästetäänkö pyyntö läpi.

Miten onnistumista mitataan

  • Reunalla pudotettujen ja taustapalveluun päästettyjen pyyntöjen suhde ruuhkahuipuissa
  • Rajoituksen arvioinnin lisäviive p99-tasolla (tavoite alle millisekunnin)
  • Taustatietokannan prosessorikuorman vakaus liikennepiikeissä
  • Väärien positiivisten osuus lisätarkistusten läpäisyistä ja tukipyynnöistä mitattuna
06

Monialueinen active-active-vikasieto ja automatisoitu palautuminen

Korkea käytettävyys ja toiminnallinen vikasietoisuus
Kaavio: Monialueinen active-active-vikasieto ja automatisoitu palautuminen

Arkkitehtuurin pullonkaula

Palautuminen riippuu siitä, että joku huomaa katkon ja muuttaa DNS:ää käsin. Alueellisen verkkojaon tai vyöhykkeen heikentymisen aikana palautumisaika venyy paljon yli sen, minkä liiketoiminta hyväksyy.

Tekninen lähestymistapa

  1. Pidä molemmat alueet aktiivisina ja mitoita kumpikin kantamaan koko huippukuorma yksin.
  2. Replikoi tila asynkronisesti ja seuraa replikointiviivettä jatkuvasti sovittua RPO:ta vasten.
  3. Testaa molempia alueita synteettisillä tapahtumilla ja ohjaa liikenne automaattisesti terveystarkistetun DNS:n tai anycast-reitityksen avulla.
  4. Harjoittele alueen menetystä kaaosharjoituksissa ja pidä tilallisten komponenttien ylennykseen suoritettavat ohjeet.

Miten onnistumista mitataan

  • Replikointiviive pysyy RPO-rajan alla, ja ylityksestä hälytetään
  • Vikasiirron kokonaisaika harjoituksissa verrattuna RTO:hon
  • Synteettisten testien havaitsema virheosuus vikasiirron aikana
  • Ohjekirjan vaiheet suoritetaan ilman improvisointia
07

Transactional outbox ja idempotentti tapahtumavirta

Hajautetun datan johdonmukaisuus
Kaavio: Transactional outbox ja idempotentti tapahtumavirta

Arkkitehtuurin pullonkaula

Palvelut kirjoittavat PostgreSQL:ään ja julkaisevat viestinvälittäjään kahdessa erillisessä vaiheessa. Kaatuminen tai välittäjän katko näiden välissä hukkaa tapahtumia tai ilmoittaa muutoksista, joita ei koskaan tallennettu, ja alavirran tila ajautuu erilleen.

Tekninen lähestymistapa

  1. Kirjoita tilamuutos ja outbox-rivi samassa tietokantatransaktiossa.
  2. Julkaise outbox-rivit asynkronisella välittäjäprosessilla (kysely tai muutosdatan kaappaus) aggregaattiavaimen mukaan osioituna, jotta kunkin entiteetin järjestys säilyy.
  3. Tee jokaisesta kuluttajasta idempotentti inbox-taululla, johon tallennetaan käsiteltyjen tapahtumien tunnisteet.
  4. Ohjaa toistuvasti epäonnistuvat tapahtumat dead letter -aiheeseen riittävin tiedoin uudelleenajoa varten.

Miten onnistumista mitataan

  • Ei eroa tilan ja tapahtumien välillä simuloitujen välittäjäkatkojen jälkeen
  • Välittäjäprosessin viive mitattuna vanhimman julkaisemattoman rivin iällä
  • Kuluttajien ohittamat duplikaatit laskettuina ja hälytettyinä
  • Dead letter -määrä ja ratkaisuun kuluva aika
08

Viiveherkkä automaattinen skaalaus ja monikielinen reunavälimuisti

Pilviorkestrointi ja suorituskyky
Kaavio: Viiveherkkä automaattinen skaalaus ja monikielinen reunavälimuisti

Arkkitehtuurin pullonkaula

Prosessorirajaan perustuvat automaattiskaalaimet reagoivat vasta, kun pyynnöt jo jonottavat. Viivekriittisissä monikielisissä ympäristöissä äkilliset nousut kasvattavat ensimmäisen tavun aikaa ennen kuin uudet podit ovat valmiita, ja ilman kieltä muodostetut välimuistiavaimet ohittavat välimuistin tai tarjoavat väärää kieltä.

Tekninen lähestymistapa

  1. Skaalaa pyyntöjonon syvyyden ja p95-viiveen perusteella tapahtumapohjaisella skaalauksella (KEDA) pelkän prosessorikuorman sijaan.
  2. Pidä solmuissa vapaata kapasiteettia, jotta uudet podit ajoitetaan heti, ja kytke valmiustila lämpenemiseen.
  3. Sisällytä kieli eksplisiittisesti reunavälimuistin avaimiin kaikille kuudelle tuetulle kielelle yhtenäisin Vary-säännöin.
  4. Poista tiukat prosessorirajat viivekriittisiltä podeilta kuristuksen välttämiseksi.

Miten onnistumista mitataan

  • Ensimmäisen tavun ajan (TTFB) vakaus p95-tasolla synteettisissä liikennenousuissa
  • Aika jonon kasvusta valmiisiin podeihin
  • Reunavälimuistin osumaosuus kielittäin
  • Viivekriittisten podien prosessorikuristus (tavoite: ei lainkaan)

Onko sinulla järjestelmä, jonka pitää skaalautua tai olla turvallisempi?

Kerro arkkitehtuurista, pullonkaulasta tai aikataulusta. Vastaamme sähköpostilla ja sovimme ajan kartoituspalaverille.

Varaa konsultaatio