Na spotkaniach o AI pada zwykle kilkanaście tych samych słów, a połowa sali kiwa głową bez pewności, co dokładnie oznaczają. To normalne i nie jest niczyją winą: żargon narósł w dwa lata, głównie po angielsku, głównie w materiałach dostawców.
Poniżej czternaście pojęć, które faktycznie się przydają. Każde ma cztery rzeczy: definicję bez owijania, analogię z życia, konsekwencję praktyczną i mit, który najczęściej się z nim wiąże. Mity są tu najważniejsze, bo to one kosztują pieniądze.
Tekst jest punktem wyjścia serii o podstawach. Kolejne części rozwijają pojedyncze wątki.
Czym jest. Najmniejsza porcja tekstu, na jakiej pracuje model. Zwykle nie jest to całe słowo, tylko jego kawałek. Model nie widzi liter ani wyrazów, tylko ciąg numerów przypisanych tym kawałkom.
Analogia. Klocki. „Niedopowiedzenie” to dla modelu kilka klocków, nie jedno pojęcie.
Co z tego wynika. Płacisz za tokeny, a nie za znaki. I tu jest niespodzianka: polski kosztuje wyraźnie więcej niż angielski. W badaniu nad tokenizatorem dla modeli Bielik ten sam tokenizator dzielił polski tekst na 3,22 tokena na słowo, a angielski na 1,28. Tokenizator Llama 3.2 dawał dla polskiego 2,81. Mówimy więc o dwu-, a nawet dwuipółkrotnie wyższym koszcie za ten sam sens.
Mit. „Limit 100 tysięcy tokenów to około 100 tysięcy słów”. Nie. Dla polskiego tekstu to bliżej 35 tysięcy słów.
Czym jest. Maksymalna liczba tokenów, jaką model bierze pod uwagę w jednej operacji: Twoje pytanie, załączniki, instrukcja systemowa i cała dotychczasowa rozmowa razem.
Analogia. Blat biurka. Mieści określoną liczbę dokumentów. Gdy dokładasz nowe, najstarsze spadają z krawędzi.
Co z tego wynika. Model nie „zapomina” w ludzkim sensie. Po prostu przestaje widzieć to, co wypadło poza okno. Stąd wrażenie, że po godzinie rozmowy asystent gubi ustalenia z jej początku.
Mit. „Większe okno zawsze znaczy lepiej”. Badanie Chroma na 18 czołowych modelach pokazuje, że trafność spada wraz z długością wejścia, i to nawet przy prostych zadaniach. Blat może być zawalony, zanim cokolwiek z niego spadnie. Rozwijam to w tekście o higienie kontekstu.
Czym jest. Zamiana fragmentu tekstu na listę liczb, czyli punkt w przestrzeni o setkach lub tysiącach wymiarów. Teksty o zbliżonym znaczeniu lądują blisko siebie.
Analogia. Współrzędne na mapie, tyle że mapa ma nie dwa wymiary, lecz kilkaset, a odległość mierzy podobieństwo sensu zamiast kilometrów.
Co z tego wynika. Na tym stoi wyszukiwanie semantyczne. Zapytanie „co robić, gdy klient nie zapłacił” trafia w dokument o windykacji, choć nie mają wspólnego słowa.
Mit. „Każdy wymiar odpowiada jakiejś cesze, na przykład formalności albo płci”. Nieprawda i wrócę do tego osobno, bo to jeden z najbardziej rozpowszechnionych mitów w materiałach szkoleniowych.
Czym jest. Odpowiedź nieprawdziwa, ale sformułowana z pełnym przekonaniem. Model nie zna pojęcia „nie wiem”, o ile mu go nie narzucisz.
Analogia. Pewny siebie kolega, który nigdy nie mówi „nie mam pojęcia”, tylko zawsze coś odpowie.
Co z tego wynika. Pewność językowa nie niesie żadnej informacji o poprawności. To dwie niezależne rzeczy, a ludzki mózg uparcie je łączy.
Mit. „To błąd, który producenci wkrótce naprawią”. Konfabulacja wynika z tego, jak model działa: przewiduje prawdopodobny ciąg dalszy, a nie prawdę. Da się ją ograniczać architekturą i procesem, ale nie „naprawić” aktualizacją.
Czym jest. Wszystko, co wysyłasz do modelu: polecenie, kontekst, przykłady, ograniczenia.
Analogia. Współrzędne w nawigacji, nie rozmowa ze znajomym. Nawigacja nie domyśli się, że chodziło Ci o morze, a nie o góry.
Co z tego wynika. Jakość odpowiedzi zależy głównie od tego, ile pracy decyzyjnej wykonałeś przed wysłaniem. Rozwijam to w części o precyzji polecenia.
Mit. „Istnieją magiczne prompty”. Nie ma zaklęć. Jest określenie roli, zadania, kontekstu, formatu i ograniczeń, czyli te same rzeczy, których wymagałbyś od zlecenia dla człowieka.
Czym jest. Stała część promptu, ustawiana raz i dołączana do każdej rozmowy. Definiuje rolę, zasady i granice.
Analogia. Zakres obowiązków wpisany do umowy, a nie polecenie wydawane codziennie od nowa.
Co z tego wynika. Wszystko, co Twój zespół powtarza modelowi co tydzień, powinno tam trafić. Powtarzanie tego w każdej rozmowie to złamanie zasady DRY na poziomie organizacji.
Mit. „Instrukcja systemowa gwarantuje zachowanie”. Wpływa mocno, ale nie gwarantuje. Dlatego ważne reguły trzeba dodatkowo sprawdzać, a nie zakładać.
Czym jest. Pamięć to funkcja aplikacji, która zapisuje wybrane fakty o Tobie poza rozmową i dokleja je do kolejnych. Okno kontekstowe to limit techniczny modelu.
Analogia. Okno to biurko, pamięć to notes leżący obok biurka.
Co z tego wynika. Kiedy asystent „pamięta” Twoje preferencje między sesjami, nie jest to cecha modelu, tylko warstwy nad nim. W środowisku firmowym trzeba wiedzieć, co ten notes zapisuje i gdzie leży.
Mit. „Model uczy się na naszych rozmowach”. W usługach firmowych zwykle nie, ale to jest kwestia umowy i ustawień, a nie właściwości technologii. Sprawdź w kontrakcie, nie w intuicji.
Czym jest. Parametr sterujący losowością wyboru kolejnego tokena. Niska temperatura oznacza odpowiedzi bardziej przewidywalne, wysoka bardziej różnorodne.
Analogia. Pokrętło między „trzymaj się utartej ścieżki” a „poszukaj czegoś nieoczywistego”.
Co z tego wynika. Do ekstrakcji danych z dokumentu ustawiasz nisko. Do generowania wariantów nazwy ustawiasz wysoko. Domyślne ustawienie w czacie jest kompromisem, który nie jest optymalny dla żadnego z tych zadań.
Mit. „Temperatura zero daje odpowiedzi deterministyczne”. Zmniejsza losowość, ale ta sama treść wejściowa nadal potrafi dać różne wyniki, między innymi przez sposób liczenia na kartach graficznych.
Czym jest. Architektura, w której system najpierw wyszukuje fragmenty w Twoich dokumentach, a dopiero potem model formułuje z nich odpowiedź.
Analogia. Egzamin z otwartą książką. Model nie odpowiada z pamięci, tylko sięga po wskazany fragment.
Co z tego wynika. To standardowy sposób pracy z dokumentacją firmową, umowami i specyfikacjami. Odpowiedź da się powiązać z konkretnym akapitem.
Mit. „RAG eliminuje halucynacje”. Zmniejsza je, nie eliminuje, a psuje się w sposób trudny do wychwycenia. Napisałem o tym osobny tekst: kiedy RAG naprawdę pomaga.
Czym jest. Douczanie gotowego modelu na własnym zbiorze przykładów, żeby trwale zmienić styl albo format odpowiedzi.
Analogia. Kurs zawodowy dla pracownika, a nie polecenie wydane na jeden dzień.
Co z tego wynika. Sprawdza się przy trwałej zmianie formy odpowiedzi. Nie jest natomiast dobrym sposobem na wprowadzenie wiedzy firmowej, bo tę trzeba aktualizować, a dostrojony model trzeba by trenować od nowa.
Mit. „Dostroimy model na naszych dokumentach i będzie znał firmę”. To najczęstszy kosztowny błąd w planowaniu. Do wiedzy służy RAG, do stylu i formatu fine-tuning.
Czym jest. Model, który nie tylko odpowiada, ale planuje kroki i wywołuje narzędzia: wyszukiwarkę, kod, API, bazę danych. Działa w pętli, aż uzna zadanie za zakończone.
Analogia. Współpracownik z dostępem do systemów, a nie konsultant zamknięty w pokoju bez telefonu.
Co z tego wynika. Zmienia się rola człowieka: z pisania szczegółowych poleceń na definiowanie celu i sprawdzanie efektu. Zmienia się też profil ryzyka, bo agent może coś wykonać, a nie tylko napisać.
Mit. „Agent zastąpi proces”. Agent działający w bałaganie robi bałagan szybciej. Kolejność jest odwrotna: najpierw uporządkowany proces, potem automat.
Czym jest. Otwarty standard opisujący, jak model łączy się z zewnętrznymi narzędziami i źródłami danych. Ogłoszony przez Anthropic pod koniec 2024 roku, dziś wspierany przez wielu dostawców.
Analogia. Gniazdko elektryczne o ustalonym kształcie. Producent czajnika nie musi wiedzieć, kto budował instalację.
Co z tego wynika. Integracja przestaje być pisana od zera pod każdego dostawcę. To ma znaczenie przy planowaniu architektury, bo obniża koszt zmiany modelu.
Mit. „MCP to produkt, który się kupuje”. To specyfikacja. Kupuje się albo buduje serwery MCP, które ją realizują.
Czym jest. Otwarty framework Google do budowania, testowania i wdrażania agentów. Dostępny dla Pythona, TypeScriptu, Go, Javy i Kotlina, z wdrożeniem na Cloud Run albo Vertex AI Agent Engine.
Analogia. Szkielet aplikacji webowej, tylko dla agentów: dostajesz strukturę, obsługę narzędzi, sesji i testów, zamiast pisać to od zera.
Co z tego wynika. Jeśli agent ma trafić na produkcję, a nie zostać demem, potrzebujesz warstwy z testami, wersjonowaniem i obserwowalnością. Framework taki jak ADK daje ją od razu.
Mit. „Framework załatwia trudną część”. Trudna część to zdefiniowanie narzędzi, granic uprawnień i kryteriów sukcesu. Framework załatwia część nudną, co również jest wartościowe.
Czym jest. Standardowy zestaw zadań do porównywania modeli.
Analogia. Test na prawo jazdy. Mówi, że ktoś zdał, nie że dobrze prowadzi w Twoim mieście zimą.
Co z tego wynika. Wynik benchmarku prawie nic nie mówi o Twoim konkretnym zastosowaniu. Jedyny miarodajny test to dziesięć, dwadzieścia Twoich własnych zadań ze znanymi odpowiedziami.
Mit. „Model X wygrał benchmark, więc jest lepszy”. Bywa, że lepszy jest w zadaniach z benchmarku, bo podobne dane widział w treningu. Zjawisko ma nawet nazwę: zanieczyszczenie zbioru testowego.
Trzy rzeczy, jeśli chcesz, żeby ten słowniczek do czegoś posłużył.
- Ustal wspólne nazewnictwo w zespole. Największe nieporozumienia biorą się z tego, że „agent” u jednej osoby znaczy chatbot, a u drugiej system wykonujący operacje na produkcji.
- Sprawdź, gdzie w Waszych planach pojawia się fine-tuning. W większości firm, z którymi pracowałem, właściwą odpowiedzią był RAG, a fine-tuning trafił do planu z prezentacji dostawcy.
- Policz tokeny na własnym tekście. Wklej typowy dokument do dowolnego kalkulatora tokenów i zobacz mnożnik dla polskiego. To zwykle moment, w którym rozmowa o kosztach robi się konkretna.
Kolejne części serii rozwijają pojedyncze hasła. Najbliższa dotyczy tego, dlaczego prompt bardziej przypomina wpisanie adresu w nawigacji niż rozmowę.