Embeddingi to mapa, na której odległość mierzy sens. Wyjaśniam mechanizm bez matematyki i pokazuję, dlaczego słynne „król − mężczyzna + kobieta = królowa” nie działa tak, jak wszyscy opowiadają.
Przemysław Zagórski5 min czytania
Na mapie samochodowej każdy punkt opisują dwie liczby: szerokość i długość geograficzna. Odległość między punktami mierzy kilometry, więc pytanie „co jest blisko” ma oczywistą odpowiedź.
Model językowy pracuje na mapie zbudowanej tak samo, z dwiema różnicami. Wymiarów jest nie dwa, tylko od kilkuset do kilku tysięcy. A odległość nie mierzy kilometrów, tylko podobieństwo znaczenia.
To wszystko. Reszta tego tekstu to konsekwencje tego jednego zdania oraz dwa mity, które przy okazji powtarzamy, bo dobrze brzmią.
Komputer nie potrafi porównać dwóch zdań tak, jak robi to człowiek. Potrafi za to porównywać liczby. Embedding to zamiana fragmentu tekstu na listę liczb, czyli na punkt na tej mapie. Teksty o zbliżonym sensie lądują blisko siebie, nawet jeśli nie mają wspólnego słowa.
Praktyczna konsekwencja jest natychmiastowa. Wyszukiwarka oparta na słowach kluczowych, zapytana „co robić, gdy klient nie zapłacił”, znajdzie dokumenty zawierające słowo „zapłacił”. Wyszukiwarka semantyczna znajdzie procedurę windykacyjną, choć nie ma tam ani „klienta”, ani „zapłacił”. Dla niej te dwa teksty leżą blisko siebie na mapie.
Na tym stoi cały RAG: zanim model dostanie pytanie, system szuka najbliższych punktów w Twoich dokumentach i podsuwa je jako materiał.
To najsłynniejszy przykład w całej dziedzinie. Skoro odległości mają sens, to można na pojęciach liczyć: bierzesz wektor „król”, odejmujesz „mężczyzna”, dodajesz „kobieta” i lądujesz przy „królowej”. Pojawia się w każdej prezentacji o AI, łącznie z takimi, które sam prowadziłem.
Problem w tym, że w tej formie to nieprawda.
Zespół z Uniwersytetu w Groningen sprawdził, co się dzieje, gdy usunąć z testu pewien szczegół implementacyjny. W standardowych bibliotekach, w tym w oryginalnym kodzie word2vec i w gensim, wyniki należące do słów wejściowych są z odpowiedzi wykluczane. Innymi słowy: „król” nie może zostać zwrócony jako odpowiedź na działanie, w którym „król” występuje.
Gdy autorzy zdjęli to ograniczenie, obraz się rozsypał. Najbliższym punktem dla „król − mężczyzna + kobieta” okazał się król. Królowa była druga. Trafność na całym zbiorze analogii spadła z 0,71 do 0,21 dla standardowej metody i z 0,73 do 0,45 dla jej mocniejszego wariantu. Najczęstszym wynikiem było po prostu powtórzenie jednego ze słów wejściowych.
Kierunki w przestrzeni faktycznie niosą znaczenie i to jest prawdziwe odkrycie. Ale efekt jest znacznie słabszy, niż pokazuje demonstracja, i częściowo bierze się z tego, że demonstracja z góry wyklucza najbardziej prawdopodobną odpowiedź. Analogia „mapa i kierunki” działa jako intuicja. Nie działa jako dowód, że model rozumie pojęcia.
Piszę o tym nie po to, żeby się popisać przypisem, tylko dlatego, że ten przykład wciąż uzasadnia decyzje zakupowe. Jeśli ktoś na jego podstawie twierdzi, że model „rozumie relacje pojęciowe”, wyciąga z ładnej demonstracji wniosek, którego ona nie unosi.
Druga rzecz, którą słyszy się na szkoleniach: że w tej przestrzeni jedna oś odpowiada formalności, inna płci, jeszcze inna wydźwiękowi emocjonalnemu. Brzmi to porządkująco i jest fałszywe.
Gdyby tak było, model mógłby zapamiętać tylko tyle cech, ile ma wymiarów. Tymczasem zapamiętuje ich znacznie więcej. Badania Anthropic nad zjawiskiem zwanym superpozycją pokazują, jak to robi: upycha więcej cech niż wymiarów, używając kierunków, które są prawie prostopadłe względem siebie. Cena za to jest taka, że pojedynczy wymiar odpowiada za wiele niepowiązanych rzeczy naraz, a jedna cecha jest rozsmarowana po wielu wymiarach.
Praktyczna konsekwencja: nie da się otworzyć embeddingu i przeczytać, dlaczego dwa teksty uznano za podobne. Nie ma tam kolumny „formalność” do sprawdzenia. To jest realne ograniczenie przy audycie systemu, który podejmuje decyzje na podstawie podobieństwa, i warto o nim wiedzieć przed wdrożeniem, a nie po.
Trzy rzeczy, które zmieniają sposób korzystania z wyszukiwania semantycznego i z RAG.
Podobne to nie znaczy trafne. Mapa mierzy podobieństwo, nie przydatność. Stara wersja procedury leży bardzo blisko nowej, bo mówią o tym samym. System znajdzie obie i nie ma pojęcia, która obowiązuje. Aktualność musi zapewnić proces, nie algorytm.
Zbliżone tematycznie potrafi zaszkodzić. Badanie Chroma na 18 czołowych modelach pokazuje, że wystarczy pojedynczy fragment tematycznie bliski, ale nietrafiony, żeby jakość odpowiedzi spadła. To argument przeciwko odruchowi „podnieśmy liczbę zwracanych fragmentów, będzie bezpieczniej”.
Kawałkowanie dokumentów jest decyzją merytoryczną. Dokumenty tnie się przed umieszczeniem na mapie. Jeśli warunek zostanie w jednym kawałku, a wyjątek od niego w innym, żaden z nich sam w sobie nie jest błędny, a razem nigdy do modelu nie trafią. W umowach i specyfikacjach technicznych to jest najczęstsza przyczyna cichych błędów.
Bez kupowania czegokolwiek i bez wiedzy matematycznej.
Punkt trzeci zaskakuje najczęściej. Wyszukiwanie semantyczne nie jest następcą wyszukiwania po słowach kluczowych, tylko jego uzupełnieniem, dlatego dojrzałe systemy łączą oba i mieszają wyniki.
Mapa znaczeń to dobry model myślowy i warto go mieć. Punkty blisko siebie znaczą coś podobnego, a to wystarcza, żeby zrozumieć wyszukiwanie semantyczne, RAG i większość tego, co dostawcy nazywają „rozumieniem kontekstu”.
Dwie rzeczy warto sobie przy tym odjąć. Model nie wykonuje algebry na pojęciach tak czysto, jak pokazuje słynny przykład z królową. I nie da się zajrzeć do środka, żeby sprawdzić, dlaczego uznał dwa teksty za podobne. Obie te rzeczy mają znaczenie dopiero wtedy, gdy na podobieństwie opiera się decyzja biznesowa. Wtedy mają je duże.
Kolejna część serii dotyczy tokenów i okna kontekstowego, czyli tego, dlaczego polski tekst kosztuje ponad dwa razy więcej od angielskiego. Pojęcia z tego tekstu zebrałem w słowniczku.
Programista i architekt, 14+ lat w telco i enterprise IT. Prowadzi warsztaty z inżynierii kontekstu, GitHub Copilota, Google ADK oraz ekosystemu Gemini dla zespołów, które muszą dowozić produkcyjnie.
Jeśli opisane tu problemy brzmią znajomo, zwykle da się je rozbroić w kilka dni roboczych — nie kolejnym narzędziem, tylko zmianą sposobu pracy zespołu. Chętnie omówię Wasz przypadek.
Odpowiedź z cytatem ze źródła wygląda na sprawdzalną. Badanie z ICTIR 2025 pokazuje, że do 57% takich cytatów nie odzwierciedla tego, z czego model faktycznie skorzystał. Co to zmienia w wyborze architektury.
Największy błąd przy pierwszym kontakcie z AI to potraktowanie modelu jak rozmówcy, który się domyśli. Pokazuję model myślowy, który to naprawia, i pięć współrzędnych dobrego polecenia.