Technologia
Benchmark a rzeczywistość firmy — jak zbudować własny test
Publiczne benchmarki mierzą wyniki na zadaniach zamkniętych: pytanie jest jednoznaczne, dane kompletne, a poprawna odpowiedź istnieje. W firmie żaden z tych warunków zwykle nie jest spełniony. Dlatego model z czołowym wynikiem może wypaść słabo na Waszych dokumentach — nie z powodu wady modelu, a z powodu innej natury zadania. Rozwiązaniem jest własny test na dwudziestu realnych przypadkach.
Cztery różnice, które przesądzają o wyniku
| Wymiar | Benchmark | Wasz proces |
|---|---|---|
| Pytanie | Sformułowane precyzyjnie | Niedopowiedziane, zależne od kontekstu rozmowy |
| Dane | Kompletne, w jednym miejscu | Rozproszone w kilku systemach, część tylko w głowach ludzi |
| Poprawna odpowiedź | Jedna, ustalona | Zależna od klienta, historii sprawy i osoby oceniającej |
| Koszt błędu | Punkt w rankingu | Reklamacja, kara, utrata klienta |
Trzeci wiersz bywa największym odkryciem. Przy budowie testu często okazuje się, że dwie doświadczone osoby z firmy odpowiedziałyby na to samo zapytanie inaczej. To wynik sam w sobie: proces nie jest jeszcze gotowy do automatyzacji, bo nie ma ustalonego kryterium poprawności — i to pierwsze, co trzeba naprawić.
Jak zbudować test procesu w jeden dzień?
Krok 1 — wybierz 20 realnych przypadków z ostatniego miesiąca
Nie przykładów wymyślonych. Realny rozkład: kilka prostych, kilkanaście typowych, dwa lub trzy trudne.
Krok 2 — zapisz, jak rozwiązał je człowiek
To jest Wasz punkt odniesienia. Jeśli w kilku przypadkach nie ma zgody co do poprawnej odpowiedzi, oznacz je i wróć do nich później.
Krok 3 — ustal kryteria oceny przed testem
Co uznajemy za odpowiedź poprawną, akceptowalną i błędną. Ustalanie kryteriów po zobaczeniu wyników prowadzi do naciągania oceny.
Krok 4 — przetestuj 2–3 modele na identycznym zestawie
Ten sam materiał, ten sam szablon zapytania. Kryteria wyboru zebraliśmy w artykule jak wybrać model AI dla firmy.
Krok 5 — policz osobno trafność i koszt błędu
Model z 95% trafności jest doskonały w streszczaniu i nieakceptowalny w wyliczeniach podatkowych. Jedna liczba nie wystarcza do decyzji.
Co zrobić z wynikiem testu?
- Wynik dobry w typowych przypadkach, słaby w trudnych — wdrożenie z kierowaniem trudnych spraw do człowieka
- Wynik słaby z powodu braku wiedzy o firmie — potrzebna baza wiedzy RAG, nie inny model
- Wynik nierówny między osobami oceniającymi — najpierw uporządkowanie procesu
- Wynik dobry we wszystkich przypadkach — sprawdź, czy zestaw testowy nie był zbyt łatwy
Drugi punkt jest najczęstszy i najczęściej błędnie diagnozowany. Firma zmienia model na droższy, choć problemem nie był model, a brak dostępu do własnej dokumentacji. Rozpoznanie tej różnicy to element audytu gotowości AI.
Dwadzieścia realnych przypadków z Waszego procesu mówi więcej niż wszystkie publiczne rankingi razem.
Najczęściej zadawane pytania
Dlaczego 20 przypadków, a nie 100?
Czy test wymaga wiedzy technicznej?
Co jeśli żaden model nie przejdzie testu?
Rozmowa bez zobowiązań
Zostaw numer telefonu — oddzwonimy
Podczas 20-minutowej rozmowy pytamy o procesy, zespół i to, co dzisiaj zjada najwięcej czasu. Na tej podstawie proponujemy konkret: warsztat, szkolenie albo wdrożenie AI — albo mówimy wprost, że w Twoim przypadku szkolenie nie jest jeszcze potrzebne.
- Bez prezentacji sprzedażowej i bez zobowiązań
- Konkretna rekomendacja zakresu i widełki budżetowe
- Rozmawiasz z osobą, która prowadzi warsztaty, nie z call center
Możesz też napisać: kontakt@aibox.edu.pl