Mam wrażenie, że wraca pytanie, czy da się podpiąć agenta do kodu pod model na własnym komputerze, bez wysyłania repozytorium do chmury. Od zeszłego roku zmieniły się narzędzia i modele z otwartymi wagami. Nie zmieniło się to, ile pamięci potrzebuje model, który dobrze radzi sobie z pracą agenta, i ten tekst jest głównie o tym rozjeździe.
Najprostsza zmiana jest po stronie protokołu. Ollama obsługuje dziś podzbiór API Anthropic Messages, więc Claude Code można skierować na lokalny serwer dwiema zmiennymi środowiskowymi: ANTHROPIC_BASE_URL=http://localhost:11434 i dowolnym tokenem. Ollama ma też gotowe polecenie ollama launch claude, a jej dokumentacja zaleca kontekst co najmniej 64 tysiące tokenów dla większych repozytoriów. Claude Code traktuje taki serwer jak każdą inną bramkę, do której prowadzi ANTHROPIC_BASE_URL.
Druga zmiana dotyczy cache'u. Agent wysyła w każdej turze cały dotychczasowy kontekst: instrukcje, opis narzędzi, historię i wyniki poleceń. U dostawcy API ten powtarzający się prefiks trafia do cache'u, o czym pisałem w tekście o cache'u po stronie dostawcy. Serwer lokalny, który tego prefiksu nie zapamiętuje, przelicza go w każdej turze od nowa, więc czas do pierwszego tokena rośnie razem z długością sesji.
Na ten problem odpowiada oMLX, otwarty serwer dla Maców z Apple Silicon na licencji Apache 2.0. Repozytorium powstało w lutym 2026, ma około 23,6 tysiąca gwiazdek, a ostatnie wydanie, v0.8.0rc1, wyszło 12 listopada. Serwer trzyma bloki cache'u w pamięci i na dysku SSD, więc znany prefiks odczytuje z dysku zamiast go przeliczać, także po restarcie. Ma endpoint /v1/messages zgodny z Anthropic i osobną sekcję w dokumentacji o pracy z Claude Code.
Autor oMLX podaje, że czas do pierwszego tokena przy długim kontekście spada z 30–90 sekund do poniżej 5. To jego deklaracja, bez opisu metody i bez liczb dla punktu odniesienia. Wszystkie pomiary na stronie projektu zrobił na Macu z M3 Ultra i 512 GB pamięci. Jako minimum projekt podaje 16 GB, a do wygodnej pracy z większymi modelami zaleca 64 GB.
Artificial Analysis publikuje zestawienie, w którym ten sam zestaw testów przechodzi przez modele zamknięte i otwarte. Najbardziej mówi tu Terminal-Bench 4.0, czyli zadania wykonywane w terminalu, najbliższe temu, co robi agent do kodu. W zestawieniu z 15 listopada, obejmującym 27 modeli, najwyższy wynik ma model z otwartymi wagami.
| Model | Wagi | Terminal-Bench 4.0 | Indeks AA v5.0.1 |
|---|
| Kimi K3.1 Pro | otwarte | 67,2% | 46,5 |
| Gemini 4 Carbon (high) | zamknięte | 65,2% | 60,0 |
| Claude Sonnet 5.5 (max) | zamknięte | 63,6% | 54,5 |
| Claude Fable 5.2 (max) | zamknięte | 59,6% | 64,6 |
W ogólnym indeksie luka nadal jest wyraźna: 64,6 punktu dla najlepszego modelu zamkniętego i 46,5 dla najlepszego otwartego. Indeks łączy jednak pracę z dokumentami, naukę i wiedzę ogólną. W samej pracy w terminalu otwarty model jest dziś w czołówce.
Od października Artificial Analysis liczy indeks w wersji 5, z innym zestawem testów. Liczb indeksu z tego wpisu nie porównuj z tymi, które podawałem w tekście o koszcie zadania, bo tamte pochodzą z wersji 4.3.2.
Kimi K3.1 Pro ma według Artificial Analysis 2800 miliardów parametrów, z czego przy każdym tokenie pracuje 104 miliardy. Taka architektura, mieszanka ekspertów, przyspiesza generowanie, ale nie zmniejsza pamięci. W pamięci muszą być wszystkie wagi, bo kolejny token może potrzebować innych ekspertów. Policzyłem, ile zajmują same wagi przy popularnych kwantyzacjach, bez cache'u i buforów:
| Model | Parametry (aktywne) | Wagi w 4 bitach | Terminal-Bench 4.0 |
|---|
| Qwen3.8 27B (xhigh) | 27 mld (wszystkie) | około 14 GB | 5,6% |
| DeepSeek V4.1 Flash 1017 (max) | 552 mld (16 mld) | około 276 GB | 33,8% |
| GLM-5.3 (max) | 753 mld (40 mld) | około 377 GB | 41,9% |
| Kimi K3.1 Pro | 2800 mld (104 mld) | około 1400 GB | 67,2% |
Na laptopie z 32 albo 64 GB pamięci zmieści się pierwszy wiersz. Qwen3.8 27B ma licencję Apache 2.0 i mieści się w 14 GB, ale w terminalu rozwiązuje 5,6 procent zadań, dwanaście razy mniej niż Kimi. DeepSeek i GLM wejdą na maszynę klasy tej, na której autor oMLX robił pomiary, czyli z 512 GB pamięci. Jego własny test GLM-5 w 4 bitach pokazał 392 GB w szczycie. Kimi K3.1 Pro to już serwer z kilkoma akceleratorami.
Do tego dochodzi kwantyzacja. Artificial Analysis testuje modele przez API dostawców, a nie w 4-bitowej kwantyzacji na Macu. Wynik wersji uruchomionej lokalnie może być niższy. Tego nie zmierzyłem: pracuję na Windowsie, bez Apple Silicon i bez karty, na której takie modele miałyby sens. Jeśli ktoś pokazuje Ci wynik modelu lokalnego, zapytaj, w jakiej kwantyzacji i na jakim zadaniu był zmierzony.
W trzech sytuacjach liczby z poprzedniej sekcji nie przeszkadzają.
Dane, które nie mogą wyjść z firmy. Model z otwartymi wagami na własnym sprzęcie albo u dostawcy, którego wybierasz sam, rozwiązuje problem umowy powierzenia, zanim się pojawi. Dla agenta do kodu oznacza to jednak sprzęt klasy serwerowej, jeśli wynik ma być bliski czołówki.
Wąskie decyzje w aplikacji. Klasyfikacja wiadomości, wybór kategorii, wyciągnięcie pola z dokumentu. To praca, w której model odpowiada na krótkie pytanie, a kod decyduje, co dalej, tak jak w tekście o semantycznym ifie. Terminal-Bench takich zadań nie mierzy, więc tu jedyną miarą jest Twój zbiór przykładów. Mały model, który na Twoim zbiorze trafia równie często jak duży, wystarczy, nawet jeśli w rankingu agentów jest daleko.
Praca offline i przewidywalny koszt. Lokalny model nie ma limitu zapytań ani rachunku za tokeny. Płacisz za sprzęt i prąd, a koszt nie rośnie razem z liczbą tur agenta.
Gorzej wypada agent do kodu na laptopie jako zamiennik modelu z czołówki. Narzędzia już na to pozwalają. Modele, które mieszczą się w pamięci laptopa, w zadaniach terminalowych są jednak na razie daleko za tymi, które się nie mieszczą.
- Wybierz jedno zadanie i 20 przykładów. Klasyfikację, ekstrakcję albo zadanie dla agenta z Twojego repozytorium. Ranking ogólny nie powie Ci, jak model poradzi sobie z Twoimi danymi.
- Postaw lokalny serwer. Na Macu z Apple Silicon oMLX, na innym sprzęcie Ollama. Dla agenta do kodu ustaw kontekst co najmniej 64 tysiące tokenów, tak jak zaleca Ollama.
- Skieruj na niego narzędzie, którego już używasz. Claude Code przez
ANTHROPIC_BASE_URL. W pi model zmieniasz w trakcie sesji, więc łatwo puścić to samo zadanie na dwóch modelach.
- Mierz trzy rzeczy. Odsetek zadań zrobionych poprawnie, czas do pierwszego tokena od drugiej tury i szczytowe zużycie pamięci. Zapisz kwantyzację i wersję modelu.
- Porównaj z modelem przez API na tych samych przykładach. Licz koszt zadania, a nie koszt tokena, tak jak w tekście o koszcie zadania.
- Zdecyduj osobno dla każdego zadania. Klasyfikacja może zostać lokalnie, a agent w terminalu przy modelu z API.
Ranking pokazuje, że otwarte modele dogoniły czołówkę w terminalu. Czy wersja, która zmieści się na Twoim sprzęcie, wystarczy do Twojego zadania, rozstrzygnie dopiero pomiar na Twoich danych.