Otwarte morze i zamknięta biblioteka: kiedy RAG naprawdę pomaga

Pytania, które w firmach o wysokim rygorze bezpieczeństwa blokują wdrożenie AI, są dwa i zawsze te same. Czy nasza dokumentacja wycieknie. Czy model zacznie zmyślać w rzeczach, na których opieramy decyzje. Oba mają różne odpowiedzi w zależności od wybranej architektury, a różnica ta bywa mylona z różnicą między dostawcami.

Nazywam je roboczo otwartym morzem i zamkniętą biblioteką. Nie chodzi o markę narzędzia, tylko o to, skąd pochodzi treść odpowiedzi.

Dwie architektury, dwa profile ryzyka

W otwartym morzu model odpowiada z własnych parametrów, czyli z tego, czego nauczył się na publicznych danych, opcjonalnie doprawiając to wynikami wyszukiwania w sieci. Twój dokument jest jednym z wielu sygnałów i konkuruje z całą resztą wiedzy modelu.

W zamkniętej bibliotece do kontekstu trafiają wyłącznie fragmenty dokumentów, które sam podałeś. To architektura RAG: system najpierw wyszukuje je w Twoim zbiorze, potem model je syntetyzuje. Zamierzoną rolą modelu jest tłumaczenie i porządkowanie, nie dostarczanie faktów.

Podkreślam „zamierzoną”, bo to jest deklaracja projektowa, a nie właściwość fizyczna. Model nie przestaje mieć wiedzy z treningu tylko dlatego, że kazałeś mu z niej nie korzystać. Za chwilę pokażę badanie, które mierzy, jak często ta wiedza i tak wchodzi do odpowiedzi.

Kluczowa różnica praktyczna jest taka: w otwartym morzu model musi czymś wypełnić lukę w wiedzy, bo taka jest jego funkcja celu. W zamkniętej bibliotece można go skonfigurować tak, żeby przyznał się do braku danych, i to jest największa pojedyncza korzyść z tej architektury.

Dlaczego cytat ze źródła to nie jest dowód

Tu zaczyna się część, którą pomija większość materiałów dostawców. RAG zmniejsza ryzyko konfabulacji, ale go nie usuwa, a sposób, w jaki zawodzi, jest wyjątkowo trudny do wychwycenia.

Na konferencji ICTIR 2025 (ACM SIGIR) opublikowano pracę, która rozdziela dwa pojęcia mieszane na co dzień.

• Poprawność cytowania. Czy przywołany dokument faktycznie potwierdza wypowiedziane zdanie.
• Wierność cytowania. Czy model naprawdę oparł to zdanie na tym dokumencie, czy wygenerował je ze swojej wiedzy wewnętrznej, a dopiero potem dobrał pasujący fragment jako uzasadnienie.

Autorzy nazywają to drugie zjawisko post-racjonalizacją i pokazują, że niewierne bywa nawet 57% cytowań. To „nawet” jest istotne: 57% to najgorszy wynik wśród badanych konfiguracji, a nie stała częstość w każdym systemie RAG. Rząd wielkości i tak jest alarmujący. Odpowiedź wygląda na osadzoną w źródle, cytat po kliknięciu wygląda sensownie, a treść i tak pochodzi z parametrów modelu.

Do tego dochodzą trzy inne tryby awarii, które warto znać przed wdrożeniem.

Cicha porażka wyszukiwania. Jeśli wyszukiwarka nie znajdzie właściwego fragmentu, system zwykle nie mówi „nie znalazłem”. Odpowiada na podstawie tego, co znalazł, czyli czegoś innego. Objaw: odpowiedź poprawna językowo i nie na temat.

Fragmentacja niszcząca sens. Dokumenty są cięte na kawałki przed indeksowaniem. Warunek z sekcji 4.2 i wyjątek od niego z sekcji 9.1 mogą nigdy nie trafić do modelu razem. W umowach i specyfikacjach technicznych to jest realny problem, nie teoretyczny.

Za dużo znalezionych fragmentów. Badanie Chroma na 18 czołowych modelach pokazuje, że jakość spada wraz z długością wejścia i że wystarczy pojedynczy dystraktor, by wynik się pogorszył. Chroma nie testowała systemów RAG, więc przeniesienie tego na podnoszenie parametru top-k jest wnioskiem przez analogię, nie zmierzonym efektem. Analogia jest jednak na tyle bliska, że warto ją sprawdzić u siebie, zanim zwiększysz liczbę zwracanych fragmentów „na wszelki wypadek”. Pisałem o tym w tekście o higienie kontekstu.

Bezpieczeństwo danych: pytania, które faktycznie coś rozstrzygają

Pytanie „czy trenujecie na naszych danych?” zadaje każdy i każdy dostawca odpowiada „nie”. To pytanie nie niesie już informacji. Poniżej pięć, które niosą. Zadaj je pisemnie i zachowaj odpowiedzi.

1. Gdzie fizycznie leżą dane i gdzie odbywa się przetwarzanie? To dwie różne rzeczy. Google udostępnia dla części usług Gemini Enterprise i NotebookLM Enterprise zarówno rezydencję danych w UE, jak i przetwarzanie ML w UE. Sprawdź jednak, czy obejmuje to akurat te operacje, z których korzystasz.
2. Jak długo przechowywane są zapytania i odpowiedzi i kto ma do nich dostęp? Retencja logów to najczęstsze miejsce, w którym poufna treść przeżywa dłużej, niż ktokolwiek zakładał.
3. Czy wyszukiwanie respektuje uprawnienia użytkownika? Najpoważniejsze ryzyko w całym wdrożeniu RAG i najrzadziej zadawane pytanie. Indeks zbudowany bez świadomości uprawnień sprawia, że asystent grzecznie streści osobie z działu X dokument, do którego nie ma ona dostępu. Nie jest to wyciek na zewnątrz, ale jest to wyciek.
4. Co się dzieje przy usunięciu dokumentu ze źródła? Czy znika z indeksu, kiedy i czy da się to zweryfikować.
5. Czy administrator może wyłączyć wyszukiwanie w sieci dla konkretnego zbioru? Bez tego zamknięta biblioteka pozostaje deklaracją, a nie właściwością systemu.

Kiedy który wybrać

Reguła jest prostsza, niż sugerują materiały sprzedażowe. Zamknięta biblioteka wszędzie tam, gdzie odpowiedź musi być prawdziwa dla Twojej firmy. Otwarte morze tam, gdzie ma być tylko dobra.

Ostatni wiersz wart jest podkreślenia po doświadczeniach z AI Act. Modele regularnie podają terminy sprzed nowelizacji, i to z pełnym przekonaniem.

Jak zbudować to w miesiąc, nie w rok

Cztery kroki, w tej kolejności.

1. Wybierz jeden zbiór dokumentów o realnej wartości. Nie „całą dokumentację firmy”. Jeden obszar, w którym ludzie regularnie tracą czas na szukanie: specyfikacje jednego produktu, procedury jednego zespołu, umowy jednego typu. Zakres jest tu ważniejszy niż narzędzie.
2. Zbuduj zestaw dwudziestu pytań ze znanymi odpowiedziami, zanim cokolwiek uruchomisz. Muszą pochodzić od ludzi, którzy naprawdę te dokumenty czytają. Bez tego nie masz jak stwierdzić, czy system działa, a wrażenie „ładnie odpowiada” pojawia się zawsze.
3. Zmierz trzy rzeczy. Ile odpowiedzi jest merytorycznie poprawnych. Ile cytatów faktycznie zawiera przywołaną treść, sprawdzone ręcznie. Ile razy system przyznał się do braku danych, gdy odpowiedzi w dokumentach nie było. Ta trzecia liczba jest najważniejsza i najczęściej wynosi zero, co oznacza, że system jest skonfigurowany źle.
4. Wymuś „nie wiem”. W instrukcji systemowej wprost: jeśli w dostarczonych materiałach nie ma odpowiedzi, napisz, jakiej informacji brakuje, zamiast uzupełniać wiedzą ogólną. To zdanie wyraźnie poprawia zachowanie systemu, ale go nie gwarantuje. Dlatego punkt trzeci mierzy, ile razy system faktycznie się przyznał, zamiast zakładać, że instrukcja wystarczy.

Kolejność tych czterech kroków to moja praktyka wdrożeniowa, nie standard branżowy. Jeden miesiąc podaję jako realny czas dla jednego zbioru dokumentów i jednego zespołu, a nie jako obietnicę.

Podsumowanie

RAG nie usuwa konfabulacji. Zmienia pytanie: z „czy model to zmyślił” na „czy model rzeczywiście oparł się na tym, na co się powołuje”. Drugie pytanie jest tańsze do sprawdzenia, o ile pamiętasz, że sprawdzenie cytatu i sprawdzenie wierności to dwie różne kontrole.

Firmy, którym RAG się udaje, robią zwykle trzy rzeczy: zawężają zbiór, mierzą jakość na własnych pytaniach i wymagają od systemu przyznawania się do niewiedzy. Firmy, którym się nie udaje, indeksują wszystko naraz i oceniają wynik na wyczucie.