Kvalitet
Da li su odgovori citirali prave izvore?
Retrieval rezultati nad vašim korpusom, uzorkovani iz stvarnih pilot upita. Poređenje sa eval setom koji zajednički gradimo u 1. nedelji.
Pilot program
Pilot je pravi format za "isprobaj Archivez nad sopstvenim korpusom". Lagana obaveza, jedan klijent, završava sa pisanim izveštajem o korišćenju i odlukom o produkcionom uvođenju.
Trajanje
1. nedelja
Klijent se podiže (staging ili produkcija). Admin korisnici se pozivaju mejl linkom. Inicijalni bulk-upload vašeg uzorka dokumenata.
2. nedelja
Dokumenti završavaju indeksiranje (isti dan za <1.000 fajlova). Pilot korisnici povezuju Gmail. Definišu se monitorisani pošiljaoci po korisniku.
3–6. nedelja
Pilot korisnici postavljaju pitanja, prijavljuju loše odgovore. Feedback petlja na kvalitetu pretrage, tačnosti citata, mobilnom UX-u. Nedeljni 30-min check-in.
7–8. nedelja
Izveštaj — broj upita, najcitiraniji dokumenti, eval rezultati nad vašim korpusom. Cena za produkciono uvođenje.
Obim
Kriterijumi odluke
Na kraju pilota dostavljamo izveštaj o korišćenju. Odgovara na četiri pitanja koja vaš tim mora imati pre nego što plati produkciju:
Kvalitet
Retrieval rezultati nad vašim korpusom, uzorkovani iz stvarnih pilot upita. Poređenje sa eval setom koji zajednički gradimo u 1. nedelji.
Upotreba
Broj upita po korisniku, najcitiraniji dokumenti, retencija iz nedelje u nedelju. Ako upotreba opadne u 4. nedelji, pilot odgovara zašto pre nego što 8. nedelja stigne.
Trošak
Procena mesečnog AI troška pri vašoj stvarnoj stopi upita, sa preporučenom kapom po klijentu kalibrisanom prema vašem obrascu upotrebe.
Pola sata uvodnog razgovora je dovoljno da odlučimo da li pilot ima smisla. Donesite primer pitanja na koje biste voleli da vaši dokumenti odgovore.
Napomena o jeziku aplikacije: trenutno je UI aplikacije na engleskom. Vaš sadržaj — dokumenti, mejlovi, citati — se u potpunosti obrađuje na srpskom (ćirilica i latinica). Lokalizacija UI-a planirana je post-v1.