Kako je privatni RAG concierge fintech tvrtki smanjio trošak podrške za 47%

Detaljan prikaz, korak po korak, arhitekture dohvaćanja, usmjeravanja između modela i zaštitnih mehanizama koji su preopterećeni red L1 podrške pretvorili u sustav s 92% rješavanja u prvom kontaktu — u osam tjedana.

By , Voditelj AI-a i rasta · · 9 min read

Problem: 80% upita bila su pitanja koja se ponavljaju

Fintech tvrtka u brzom rastu primala je ~12.000 upita podršci mjesečno. Otprilike 80% bila su ponovljena pitanja o pravilima — naknadama, statusu KYC provjere, rokovima isplate — a trošila su jednako ljudskog kapaciteta kao i doista novi problemi. Zadovoljstvo korisnika (CSAT) padalo je, a red je rastao brže nego što je tim mogao zapošljavati.

Zadatak je bio jasan: smanjiti trošak bez smanjenja kvalitete. Ne chatbot koji odbija upite, nego concierge koji ih stvarno rješava.

  • −47% Trošak podrške
  • 92% Rješavanje u prvom kontaktu
  • +18pt Rast CSAT-a

Arhitektura: najprije dohvaćanje, generiranje na kraju

Izgradili smo privatni RAG pipeline nad klijentovim korpusom pravila i anonimiziranom poviješću upita. Svaki se odgovor temelji na dohvaćenim, citiranim izvorima — modelu nikad nije dopušteno slobodno improvizirati o financijskim pravilima.

  • Unos podataka — pravila, članci centra za pomoć i 90 dana riješenih upita, semantički podijeljeni u isječke i pretvoreni u embeddinge.
  • Hibridno dohvaćanje — gusta vektorska pretraga spojena s BM25 pretragom po ključnim riječima, a zatim ponovno rangirana.
  • Slojevito usmjeravanje — jeftin, brz model odgovara na upite visoke pouzdanosti s dobrim uporištem u izvorima; frontier model rješava dvosmislene.
  • Zaštitni mehanizmi — pragovi pouzdanosti i utemeljenosti. Ispod praga upit se predaje čovjeku s potpunim sažetkom konteksta.
async function answer(query: string) {
  const ctx = await hybridRetrieve(query, { k: 8 });
  const grounded = await rerank(query, ctx);

  // Route by retrieval confidence, not by guessing.
  const tier = grounded.score > 0.78 ? "fast" : "frontier";
  const draft = await generate(query, grounded.chunks, { tier });

  // Never ship an ungrounded financial answer.
  if (draft.groundedness < 0.7) {
    return escalateToHuman(query, grounded.chunks);
  }
  return draft;
}

Zašto je uspjelo: put eskalacije bio je sam proizvod

Pobjeda nije bio model — bila je to predaja čovjeku. Tretiranjem odgovora „nisam siguran“ kao punopravnog ishoda i usmjeravanjem takvih slučajeva čovjeku uz priložen dohvaćeni kontekst uklonili smo dva načina na koja AI u podršci propada: samouvjereno haluciniranje i odbijanje koje vodi u slijepu ulicu.

Osam tjedana od početka do produkcije. Red je prestao rasti u trećem tjednu; trošak je do šestog tjedna pao ispod granice od −40%.

Ključni zaključci

  • Svaki odgovor temeljite na dohvaćenim, citiranim izvorima — osobito u reguliranim područjima.
  • Usmjeravajte prema izmjerenoj pouzdanosti dohvaćanja, a ne prema nagađanju u promptovima.
  • Najprije osmislite predaju čovjeku; to je sigurnosna mreža koja vam omogućuje odvažnu isporuku.

Rezervirajte 20-minutni poziv o AI prilikama · Besplatna mapa AI prilika

iqdigital