Kvalitet
Da li su odgovori citirali prave izvore?
Retrieval rezultati nad tvojim korpusom, uzorkovani iz stvarnih pilot upita. Poređenje sa eval baseline setom koji zajedno gradimo u 1. sedmici.
Pilot program
Pilot je pravi format za "isprobaj Archivez nad vlastitim korpusom". Lagana obaveza, jedan klijent, završava pisanim izvještajem o korištenju i odlukom o produkcionom uvođenju.
Trajanje
1. sedmica
Klijent se podiže (staging ili produkcija). Admin korisnici se pozivaju mejl linkom. Inicijalni bulk-upload tvog uzorka dokumenata.
2. sedmica
Dokumenti završavaju indeksiranje (isti dan za manje od 1.000 fajlova). Pilot korisnici povezuju svoje naloge. Praćeni kontakti definirani po korisniku.
3–6. sedmica
Pilot korisnici postavljaju pitanja, prijavljuju loše odgovore. Feedback petlja na kvalitetu pretrage, tačnosti citata, mobilnom UX-u. Sedmični 30-min check-in.
7–8. sedmica
Izvještaj o korištenju — broj upita, najcitiraniji dokumenti, eval rezultati nad tvojim korpusom. Cijena za produkciono uvođenje.
Obim
Kriterijumi odluke
Na kraju pilota dostavljamo izvještaj o korištenju. Odgovara na četiri pitanja koja tvoj tim mora imati odgovorena prije nego što plati produkciju:
Kvalitet
Retrieval rezultati nad tvojim korpusom, uzorkovani iz stvarnih pilot upita. Poređenje sa eval baseline setom koji zajedno gradimo u 1. sedmici.
Upotreba
Broj upita po korisniku, najcitiraniji dokumenti, retencija iz sedmice u sedmicu. Ako upotreba opadne u 4. sedmici, pilot odgovara zašto prije nego što stigne 8. sedmica.
Trošak
Procjena mjesečnog AI troška pri tvojoj stvarnoj stopi upita, sa preporučenom kapom po klijentu kalibriranom prema tvom obrascu upotrebe.
Pola sata uvodnog razgovora dovoljno je da odlučiš da li pilot ima smisla. Donesi primjer pitanja na koje bi volio da tvoji dokumenti mogu odgovoriti.