Glasovni AI ispod 600 ms: produkcijska arhitektura latencije

Zašto se „brzi“ glasovni agenti i dalje doimaju pokvarenima te streaming, nativno multimodalna arhitektura kojom ukupnu latenciju razgovora držimo ispod 600 milisekundi.

By , Voditelj AI-a i rasta · · 12 min read

Zašto latencija čini ili ruši glasovnog agenta?

Ljudski razgovor podnosi otprilike 300 milisekundi tišine prije nego što se počne doimati pokvarenim. Nakon toga sugovornici upadaju agentu u riječ, ponavljaju se ili prekidaju poziv. Latencija nije metrika performansi za glasovni AI — ona je sam proizvod.

Naslijeđeni pipelinei ulančavaju tri serijska koraka — pretvorbu govora u tekst, zatim LLM, zatim pretvorbu teksta u govor — i svaki troši dio budžeta. Zbrojite ih i dolazite do 2–3 sekunde po izmjeni. Zato se većina „AI recepcionara“ doima kao IVR iz 2010.

  • 2.8s Latencija izmjene u naslijeđenim sustavima
  • <600ms Ciljana latencija
  • −94% Smanjenje prekinutih poziva

Kako se spustiti ispod 600 ms?

Četiri poteza, poredana prema učinku:

  • Streamajte sve. Nikad ne čekajte potpuni transkript ili potpuni odgovor. Djelomični ASR hrani model; model tokene streama u TTS dok ih generira.
  • Sažmite korake. Nativni multimodalni model koji prima zvuk i vraća zvuk potpuno uklanja dvije granice serijalizacije.
  • Predvidite kraj izgovora. Detekcija glasovne aktivnosti uz prediktor kraja izgovora počinje generirati prije nego što sugovornik potpuno prestane govoriti.
  • Barge-in. Dopustite sugovorniku da prekine; sintezu odmah zaustavite. Ništa ne odaje „stroj“ kao agent kojeg se ne može prekinuti.
// Stream partial transcripts straight into generation — no full-utterance wait.
asr.on("partial", (text) => {
  if (endpoint.predictsTurnEnd(text)) {
    const tokens = llm.stream(text);          // begin early
    tts.streamFrom(tokens);                   // speak as tokens arrive
  }
});

// Barge-in: caller speech cancels synthesis mid-sentence.
vad.on("speechStart", () => tts.cancel());

Zaključak

Ispod 600 ms ne dolazite kupnjom bržeg modela — dolazite uklanjanjem serijalizacije. Streamajte, sažmite korake, predvidite kraj izgovora i dopustite prekidanje. Učinite te četiri stvari i razgovor se prestaje doimati kao transakcija i počinje se doimati kao razgovor s osobom.

Rezervirajte 20-minutni poziv o AI prilikama · Besplatna mapa AI prilika

iqdigital