Kvaliteta
Jesu li odgovori citirali prave izvore?
Rezultati dohvaćanja nad tvojim vlastitim korpusom, uzorkovani iz stvarnih pilot upita. Usporedba s osnovicom eval seta koju s tobom gradimo u 1. tjednu.
Pilot program
Pilot je pravi format za "isprobaj Archivez nad vlastitim korpusom". Lagana obveza, vezano za jednog klijenta, završava s pisanim izvještajem o korištenju i odlukom o produkcijskom uvođenju.
Trajanje
1. tjedan
Klijent postavljen na staging ili produkciju. Admin korisnici pozvani putem e-mail poveznice. Početno skupno učitavanje tvog uzorka dokumenata.
2. tjedan
Dokumenti dovršavaju indeksiranje (isti dan za manje od 1.000 datoteka). Pilot korisnici povezuju svoje sandučiće. Praćeni kontakti konfigurirani po korisniku.
3–6. tjedan
Pilot korisnici postavljaju pitanja, označavaju loše odgovore. Petlja povratnih informacija o kvaliteti dohvaćanja, točnosti citata, mobilnom UX-u. Tjedni pregled od 30 min.
7–8. tjedan
Izvještaj o korištenju — broj upita, najcitiraniji dokumenti, rezultati eval seta nad tvojim korpusom. Cijene za produkcijsko uvođenje.
Opseg
Kriteriji odluke
Na kraju pilota dijelimo izvještaj o korištenju. On odgovara na četiri pitanja na koja tvoj tim treba odgovor prije nego što plati produkciju:
Kvaliteta
Rezultati dohvaćanja nad tvojim vlastitim korpusom, uzorkovani iz stvarnih pilot upita. Usporedba s osnovicom eval seta koju s tobom gradimo u 1. tjednu.
Korištenje
Broj upita po korisniku, najcitiraniji dokumenti, zadržavanje iz tjedna u tjedan. Ako korištenje padne u 4. tjednu, pilot odgovara zašto prije nego što stigne 8. tjedan.
Trošak
Projicirana mjesečna AI potrošnja pri tvojoj stvarnoj stopi upita, s preporučenom kapom troška po klijentu kalibriranom prema tvom obrascu korištenja.
Uvodni razgovor od 30 minuta dovoljan je da odlučimo ima li pilot smisla. Ponesi primjer pitanja na koje bi želio da tvoji dokumenti odgovore.