Koszt wnioskowania spadł 280-krotnie — co to zmienia w budżecie

Co to znaczy „koszt wnioskowania”?

Wnioskowanie (inference) to pojedyncze użycie modelu — jedno zapytanie i jedna odpowiedź. Koszt wnioskowania to cena tej operacji, rozliczana zwykle za tokeny, czyli fragmenty tekstu na wejściu i wyjściu. To zupełnie inna pozycja niż koszt wytrenowania modelu, który ponosi jego twórca, nie Wasza firma.

Rozróżnienie jest ważne, bo w dyskusjach o „kosztach AI” miesza się jedno z drugim. Firma korzystająca z gotowych modeli nie płaci za trening. Płaci za każde zapytanie — i właśnie ta pozycja spadła radykalnie.

Jak przełożyć to na własny budżet?

Nie przez procenty, a przez liczbę zapytań. Kalkulacja, która przekonuje dyrektora finansowego, ma trzy liczby: ile zapytań miesięcznie generuje proces, jaka jest cena jednostkowa u wybranego dostawcy i ile godzin pracy to zastępuje.

1. Krok 1 — policz wolumen procesu

   Ile dokumentów, wiadomości albo zgłoszeń przechodzi przez proces w miesiącu. Ta liczba jest w firmie zawsze dostępna, choć rzadko ktoś o nią pyta przed zakupem narzędzia.

2. Krok 2 — oszacuj rozmiar zapytania

   Krótka wiadomość to inny koszt niż analiza 30-stronicowej umowy. Zapytania w procesie są zwykle podobnej długości, więc jedno oszacowanie wystarcza dla całego wolumenu.

3. Krok 3 — sprawdź bieżący cennik dostawcy

   Ceny zmieniają się kilka razy w roku i to jedyna liczba w tej kalkulacji, której nie wolno brać z artykułu — trzeba ją wziąć z aktualnej strony dostawcy.

4. Krok 4 — porównaj z kosztem pracy

   Nie z „oszczędnością czasu” w procentach, a z konkretną liczbą godzin i stawką. Dopiero to jest argument budżetowy — piszemy o tym w artykule jak liczyć ROI z AI.

5. Krok 5 — dodaj koszt, o którym się zapomina

   Wdrożenie, integracja, szkolenie zespołu i utrzymanie. W większości projektów to one, nie zapytania, są główną pozycją — realne widełki podajemy w cenniku.

Czy taniejące zapytania oznaczają tanie wdrożenia?

Nie. Tanieje jedna, zwykle najmniejsza pozycja w budżecie. Reszta — analiza procesu, integracja z systemami, przeszkolenie ludzi, nadzór nad jakością — to praca ludzka, która nie tanieje w tym tempie.

• Koszt zapytań rośnie liniowo z wolumenem i jest przewidywalny
• Koszt integracji jest jednorazowy, ale trudny do oszacowania bez audytu
• Koszt utrzymania jest stały i najczęściej pomijany w pierwszej kalkulacji
• Koszt braku kompetencji jest ukryty: narzędzie kupione i nieużywane to 100% straty

Ostatni punkt jest najbardziej dotkliwy w praktyce. Firma płaci abonament za narzędzie, którego zespół nie potrafi wykorzystać — i wnioskuje z tego, że „AI się nie sprawdziło”. Dlatego szkolenie zespołu i umiejętność formułowania zapytań są pozycją inwestycyjną, nie dodatkiem.