Przejdź do treści
Blog

Modele lokalne: otwarte wagi dogoniły czołówkę, ale nie na laptopie

Model z otwartymi wagami ma dziś najlepszy wynik w Terminal-Bench 4.0. Same jego wagi zajmują jednak około 1400 GB. Co się zmieniło w modelach lokalnych i jak to sprawdzić u siebie.

Przemysław Zagórski6 min czytania

Mam wrażenie, że wraca pytanie, czy da się podpiąć agenta do kodu pod model na własnym komputerze, bez wysyłania repozytorium do chmury. Od zeszłego roku zmieniły się narzędzia i modele z otwartymi wagami. Nie zmieniło się to, ile pamięci potrzebuje model, który dobrze radzi sobie z pracą agenta, i ten tekst jest głównie o tym rozjeździe.

Co się zmieniło w narzędziach

Najprostsza zmiana jest po stronie protokołu. Ollama obsługuje dziś podzbiór API Anthropic Messages, więc Claude Code można skierować na lokalny serwer dwiema zmiennymi środowiskowymi: ANTHROPIC_BASE_URL=http://localhost:11434 i dowolnym tokenem. Ollama ma też gotowe polecenie ollama launch claude, a jej dokumentacja zaleca kontekst co najmniej 64 tysiące tokenów dla większych repozytoriów. Claude Code traktuje taki serwer jak każdą inną bramkę, do której prowadzi ANTHROPIC_BASE_URL.

Druga zmiana dotyczy cache'u. Agent wysyła w każdej turze cały dotychczasowy kontekst: instrukcje, opis narzędzi, historię i wyniki poleceń. U dostawcy API ten powtarzający się prefiks trafia do cache'u, o czym pisałem w tekście o cache'u po stronie dostawcy. Serwer lokalny, który tego prefiksu nie zapamiętuje, przelicza go w każdej turze od nowa, więc czas do pierwszego tokena rośnie razem z długością sesji.

Na ten problem odpowiada oMLX, otwarty serwer dla Maców z Apple Silicon na licencji Apache 2.0. Repozytorium powstało w lutym 2026, ma około 23,6 tysiąca gwiazdek, a ostatnie wydanie, v0.8.0rc1, wyszło 12 listopada. Serwer trzyma bloki cache'u w pamięci i na dysku SSD, więc znany prefiks odczytuje z dysku zamiast go przeliczać, także po restarcie. Ma endpoint /v1/messages zgodny z Anthropic i osobną sekcję w dokumentacji o pracy z Claude Code.

Autor oMLX podaje, że czas do pierwszego tokena przy długim kontekście spada z 30–90 sekund do poniżej 5. To jego deklaracja, bez opisu metody i bez liczb dla punktu odniesienia. Wszystkie pomiary na stronie projektu zrobił na Macu z M3 Ultra i 512 GB pamięci. Jako minimum projekt podaje 16 GB, a do wygodnej pracy z większymi modelami zaleca 64 GB.

Co się zmieniło w modelach

Artificial Analysis publikuje zestawienie, w którym ten sam zestaw testów przechodzi przez modele zamknięte i otwarte. Najbardziej mówi tu Terminal-Bench 4.0, czyli zadania wykonywane w terminalu, najbliższe temu, co robi agent do kodu. W zestawieniu z 15 listopada, obejmującym 27 modeli, najwyższy wynik ma model z otwartymi wagami.

ModelWagiTerminal-Bench 4.0Indeks AA v5.0.1
Kimi K3.1 Prootwarte67,2%46,5
Gemini 4 Carbon (high)zamknięte65,2%60,0
Claude Sonnet 5.5 (max)zamknięte63,6%54,5
Claude Fable 5.2 (max)zamknięte59,6%64,6

W ogólnym indeksie luka nadal jest wyraźna: 64,6 punktu dla najlepszego modelu zamkniętego i 46,5 dla najlepszego otwartego. Indeks łączy jednak pracę z dokumentami, naukę i wiedzę ogólną. W samej pracy w terminalu otwarty model jest dziś w czołówce.

Od października Artificial Analysis liczy indeks w wersji 5, z innym zestawem testów. Liczb indeksu z tego wpisu nie porównuj z tymi, które podawałem w tekście o koszcie zadania, bo tamte pochodzą z wersji 4.3.2.

Otwarte wagi nie znaczą „na moim komputerze”

Kimi K3.1 Pro ma według Artificial Analysis 2800 miliardów parametrów, z czego przy każdym tokenie pracuje 104 miliardy. Taka architektura, mieszanka ekspertów, przyspiesza generowanie, ale nie zmniejsza pamięci. W pamięci muszą być wszystkie wagi, bo kolejny token może potrzebować innych ekspertów. Policzyłem, ile zajmują same wagi przy popularnych kwantyzacjach, bez cache'u i buforów:

ModelParametry (aktywne)Wagi w 4 bitachTerminal-Bench 4.0
Qwen3.8 27B (xhigh)27 mld (wszystkie)około 14 GB5,6%
DeepSeek V4.1 Flash 1017 (max)552 mld (16 mld)około 276 GB33,8%
GLM-5.3 (max)753 mld (40 mld)około 377 GB41,9%
Kimi K3.1 Pro2800 mld (104 mld)około 1400 GB67,2%

Na laptopie z 32 albo 64 GB pamięci zmieści się pierwszy wiersz. Qwen3.8 27B ma licencję Apache 2.0 i mieści się w 14 GB, ale w terminalu rozwiązuje 5,6 procent zadań, dwanaście razy mniej niż Kimi. DeepSeek i GLM wejdą na maszynę klasy tej, na której autor oMLX robił pomiary, czyli z 512 GB pamięci. Jego własny test GLM-5 w 4 bitach pokazał 392 GB w szczycie. Kimi K3.1 Pro to już serwer z kilkoma akceleratorami.

Do tego dochodzi kwantyzacja. Artificial Analysis testuje modele przez API dostawców, a nie w 4-bitowej kwantyzacji na Macu. Wynik wersji uruchomionej lokalnie może być niższy. Tego nie zmierzyłem: pracuję na Windowsie, bez Apple Silicon i bez karty, na której takie modele miałyby sens. Jeśli ktoś pokazuje Ci wynik modelu lokalnego, zapytaj, w jakiej kwantyzacji i na jakim zadaniu był zmierzony.

Gdzie model lokalny ma dziś sens

W trzech sytuacjach liczby z poprzedniej sekcji nie przeszkadzają.

Dane, które nie mogą wyjść z firmy. Model z otwartymi wagami na własnym sprzęcie albo u dostawcy, którego wybierasz sam, rozwiązuje problem umowy powierzenia, zanim się pojawi. Dla agenta do kodu oznacza to jednak sprzęt klasy serwerowej, jeśli wynik ma być bliski czołówki.

Wąskie decyzje w aplikacji. Klasyfikacja wiadomości, wybór kategorii, wyciągnięcie pola z dokumentu. To praca, w której model odpowiada na krótkie pytanie, a kod decyduje, co dalej, tak jak w tekście o semantycznym ifie. Terminal-Bench takich zadań nie mierzy, więc tu jedyną miarą jest Twój zbiór przykładów. Mały model, który na Twoim zbiorze trafia równie często jak duży, wystarczy, nawet jeśli w rankingu agentów jest daleko.

Praca offline i przewidywalny koszt. Lokalny model nie ma limitu zapytań ani rachunku za tokeny. Płacisz za sprzęt i prąd, a koszt nie rośnie razem z liczbą tur agenta.

Gorzej wypada agent do kodu na laptopie jako zamiennik modelu z czołówki. Narzędzia już na to pozwalają. Modele, które mieszczą się w pamięci laptopa, w zadaniach terminalowych są jednak na razie daleko za tymi, które się nie mieszczą.

Jak to sprawdzić u siebie

  1. Wybierz jedno zadanie i 20 przykładów. Klasyfikację, ekstrakcję albo zadanie dla agenta z Twojego repozytorium. Ranking ogólny nie powie Ci, jak model poradzi sobie z Twoimi danymi.
  2. Postaw lokalny serwer. Na Macu z Apple Silicon oMLX, na innym sprzęcie Ollama. Dla agenta do kodu ustaw kontekst co najmniej 64 tysiące tokenów, tak jak zaleca Ollama.
  3. Skieruj na niego narzędzie, którego już używasz. Claude Code przez ANTHROPIC_BASE_URL. W pi model zmieniasz w trakcie sesji, więc łatwo puścić to samo zadanie na dwóch modelach.
  4. Mierz trzy rzeczy. Odsetek zadań zrobionych poprawnie, czas do pierwszego tokena od drugiej tury i szczytowe zużycie pamięci. Zapisz kwantyzację i wersję modelu.
  5. Porównaj z modelem przez API na tych samych przykładach. Licz koszt zadania, a nie koszt tokena, tak jak w tekście o koszcie zadania.
  6. Zdecyduj osobno dla każdego zadania. Klasyfikacja może zostać lokalnie, a agent w terminalu przy modelu z API.

Ranking pokazuje, że otwarte modele dogoniły czołówkę w terminalu. Czy wersja, która zmieści się na Twoim sprzęcie, wystarczy do Twojego zadania, rozstrzygnie dopiero pomiar na Twoich danych.

Źródła

  1. [1]Models: porównanie modeli, stan na 15 listopada 2026Artificial Analysis
  2. [2]Intelligence Benchmarking Methodology: indeks v5.0.1 i historia wersjiArtificial Analysis
  3. [3]Qwen3.8-27B: karta modeluQwen, Hugging Face
  4. [4]oMLX: serwer inferencji LLM dla Apple Siliconjundot, GitHub
  5. [5]Strona projektu i pomiary autoraoMLX
  6. [6]Anthropic compatibilityOllama
  7. [7]Claude CodeOllama
  8. [8]Claude Code: LLM gatewayAnthropic
Przemysław Zagórski

Przemysław Zagórski

Programista i architekt, 14+ lat w telco i enterprise IT. Prowadzi warsztaty z inżynierii kontekstu, GitHub Copilota, Google ADK oraz ekosystemu Gemini dla zespołów, które muszą dowozić produkcyjnie.

Jeśli widzisz te problemy u siebie, zwykle da się je rozbroić w kilka dni roboczych. Nie kolejnym narzędziem, tylko zmianą sposobu pracy zespołu. Chętnie omówię Wasz przypadek.