Przejdź do treści
Blog

Semantyczny if: model ocenia, kod decyduje

TypeSafe wypuścił Jev, model, który nie pisze tekstu, tylko zwraca typowaną decyzję. Ten sam podział pracy da się zbudować w ADK. Sprawdziłem, co schemat odpowiedzi gwarantuje, a czego nie.

Przemysław Zagórski6 min czytania

W systemie z agentami większość wywołań modelu nie służy do pisania tekstu. Model ma rozstrzygnąć, czy wiadomość jest reklamacją, czy dokument dotyczy umowy, czy ryzyko jest wysokie. Kod potrzebuje z tego jednej wartości z krótkiej listy, a dostaje akapit do sparsowania. Poniżej opisuję podejście, które odwraca ten układ, i sprawdzam na Google ADK 2.14.1, co z niego da się zrobić bez specjalnego modelu.

Jev i modele „System One”

15 września 2026 firma TypeSafe AI ogłosiła Jev, pierwszy model z klasy, którą nazwała System One. Nazwa jest ukłonem w stronę Kahnemana, co producent pisze w FAQ: szybkie, intuicyjne myślenie Systemu 1 kontra powolne rozumowanie Systemu 2. Jev nie generuje tekstu wcale. Dostaje stan (tekst, JSON albo obraz) i zestaw pytań z typem, a zwraca odpowiedzi tego typu z rozkładem prawdopodobieństwa.

Typy pytań są cztery. Choice wybiera opcję z listy, Score ocenia na skali, Noul odpowiada liczbą od 0 do 1 na pytanie tak/nie, a Box wskazuje fragment obrazu. Pytania w jednym żądaniu są oceniane równolegle i niezależnie od siebie. Producent podaje czas odpowiedzi od 70 do 500 milisekund i cenę 0,042 dolara za milion tokenów wejścia, przy czym tokeny wyjścia są bezpłatne.

Te liczby są deklaracją producenta i on sam je zastrzega. Pomiary szybkości robił, jak pisze, „z laptopów na Zachodnim Wybrzeżu”, a o cenie mówi, że nie potrafi dowieść, że nie jest dotowana. Głośne hasło „can't hallucinate” ma w tym samym tekście przypis: gwarancja dotyczy zgodności ze schematem, a liczba nie pochodzi z pomiaru. Dokumentacja mówi też wprost, że Jev nie zastąpi modelu w Claude Code czy Copilocie. To narzędzie do decyzji, które Twój kod podejmuje w środku aplikacji.

Z dokumentacji da się wziąć sposób budowania niezależny od samego Jev: model odpowiada na wąskie, typowane pytanie, a kod decyduje, co z tą odpowiedzią zrobić. Ten układ zbudujesz w każdym frameworku.

Ten sam podział w ADK

W ADK 2 graf składa się z węzłów, a rozgałęzienie robi zwykła funkcja Pythona, która oddaje zdarzenie z nazwą trasy. Węzeł z modelem może zwrócić obiekt Pydantic zamiast tekstu, jeśli dostanie output_schema. Na tym oparłem moduł o routingu na szkoleniu, które prowadzę, i ten sam wzór sprawdziłem na wersji 2.14.1:

from typing import Literal
from pydantic import BaseModel
from google.adk import Agent, Event, Workflow
from google.adk.workflow import DEFAULT_ROUTE

class Ocena(BaseModel):
    kategoria: Literal["reklamacja", "faktura", "inne"]
    uzasadnienie: str

klasyfikator = Agent(
    name="klasyfikator",
    model=MODEL,  # identyfikator modelu z konfiguracji
    instruction="Przypisz wiadomość do jednej kategorii.",
    output_schema=Ocena,
    output_key="ocena",
)

def router(node_input: Ocena):
    yield Event(route=node_input.kategoria)

# reklamacje, ksiegowosc i do_czlowieka to zwykłe węzły zdefiniowane wcześniej
root_agent = Workflow(name="obsluga", edges=[
    ("START", klasyfikator, router),
    (router, {
        "reklamacja": reklamacje,
        "faktura": ksiegowosc,
        DEFAULT_ROUTE: do_czlowieka,
    }),
])

Router dostaje obiekt Ocena, a nie napis. Sprawdziłem to, podstawiając w miejsce Gemini własną klasę modelu, która zwraca ustaloną odpowiedź. Taki model na niby pozwala uruchomić cały graf bez klucza API i bez kosztów. Model ocenia, a o tym, dokąd trafi wiadomość, decyduje funkcja z trzema liniami, którą testujesz jak każdą inną:

def test_faktura_idzie_do_ksiegowosci():
    zdarzenie = next(router(Ocena(kategoria="faktura", uzasadnienie="")))
    assert zdarzenie.actions.route == "faktura"

W 2.14.1 nazwa trasy siedzi w event.actions.route. Asercja na event.route, którą miałem w starszej wersji materiałów, rzuca AttributeError.

Co schemat gwarantuje, a czego nie

Uruchomiłem ten graf z trzema odpowiedziami modelu: poprawną, z kategorią spoza listy i ze zwykłym zdaniem zamiast JSON-a. Do tego jeden przypadek, w którym router zwraca trasę bez krawędzi.

Odpowiedź modelu albo routeraCo robi ADK 2.14.1
{"kategoria": "reklamacja", ...}router dostaje obiekt, wiadomość trafia do reklamacji
{"kategoria": "pochwala", ...}ValidationError, cały workflow się zatrzymuje
To chyba reklamacja.ValidationError (niepoprawny JSON), workflow się zatrzymuje
trasa inne, a w słowniku nie ma ani inne, ani DEFAULT_ROUTEostrzeżenie w logu „The branch will end”, workflow kończy się bez wyjątku

Odpowiedź spoza schematu nie przejdzie więc dalej po cichu, kończy się wyjątkiem. Trzeba tylko zdecydować, co ma się wtedy stać z wiadomością, bo domyślnie nie dzieje się z nią nic.

Trasa, do której nie prowadzi żadna krawędź, zachowuje się inaczej: gałąź się kończy, a jedynym śladem jest linia w logu. Wiadomość nie trafia nigdzie i nikt się o tym nie dowie, dopóki nie przejrzy logów. Dlatego w przykładzie wyżej jest DEFAULT_ROUTE, który łapie każdą nieobsłużoną trasę i kieruje ją do człowieka.

Schemat pilnuje przy tym tylko tego, żeby kategoria była jednym z trzech napisów, a nie tego, żeby była właściwa. Takiego błędu nie złapie ani walidacja, ani test routera. Dokumentacja TypeSafe opisuje to samo zjawisko u siebie: pytanie typu Choice zawsze wybiera którąś opcję, nawet gdy żadna nie pasuje. W ich przykładzie wiadomość o zepsutej lampce biurkowej trafia do kategorii „biurko” z prawdopodobieństwem 0,96, bo z trzech produktów biurko jest najbliżej. Ich rozwiązanie to drugie pytanie w tym samym żądaniu: czy którakolwiek opcja w ogóle pasuje. Kod wierzy wyborowi tylko wtedy, gdy odpowiedź na to drugie pytanie jest wyraźnym „tak”.

W ADK najprostszym odpowiednikiem jest kategoria „inne” w Literal i osobna gałąź dla niej. Model ma wtedy legalne wyjście i nie musi wciskać wiadomości do najbliższej szuflady.

Różnica, której ADK nie nadrobi Jev zwraca prawdopodobieństwo każdej opcji i miarę pewności, a dokumentacja pokazuje, jak od niej uzależnić akcję: poniżej 0,5 decyduje człowiek, przelew wykonuje się dopiero powyżej 0,9 i po potwierdzeniu. Model ogólnego przeznaczenia wciśnięty w schemat zwraca samą odpowiedź. Pole „pewność” dopisane do schematu wypełnia ten sam model, który odpowiada, więc nie jest pomiarem.

Kiedy model, a kiedy reguła

TypeSafe opublikował listę miejsc, w których jego model się myli, i ta lista przydaje się każdemu, kto buduje węzeł decyzyjny na dowolnym modelu. Arytmetyka, liczenie elementów, porównywanie dat i odczytywanie wartości liczbowych mają być w kodzie. Model czyta daty jak tekst i nie liczy, tylko rozpoznaje kształt odpowiedzi. Kolejność opcji potrafi zmienić wybór, więc zalecają sprawdzić, czy przestawienie listy daje tę samą odpowiedź.

Drugie zalecenie z dokumentacji: pytanie ma być atomowe. Zamiast „oceń ten projekt” trzy osobne pytania o rynek, wykonalność i wyróżnik, a wagi w kodzie. Gdy priorytety się zmienią, zmieniasz współczynnik, a nie prompt. W ADK oznacza to kilka małych pól w schemacie albo kilka węzłów zamiast jednego wielkiego polecenia z dziesięcioma kryteriami.

Z obu zaleceń wynika prosty test. Jeśli warunek da się zapisać jako if na danych, które już masz, piszesz if. Model dostaje tylko tę część, która wymaga zrozumienia języka: czego dotyczy wiadomość, czy klient jest zdenerwowany, czy zdanie w umowie pozwala na wcześniejsze wypowiedzenie. Kwoty, terminy i progi sprawdza kod.

Przy takim podziale węzeł z modelem da się też ocenić osobno, na zbiorze kilkudziesięciu wiadomości z etykietami, a router testujesz jednostkowo w milisekundach. O ocenie agentów w ADK pisałem w tekście o testowaniu, a o tym, że graf daje determinizm orkiestracji, a nie całego systemu, przy okazji migracji na ADK 2.0.

Co zrobić w swoim grafie

  1. Wypisz decyzje w swoim agencie. Każde miejsce, w którym model wybiera, dokąd iść dalej, to kandydat na węzeł ze schematem i router w kodzie.
  2. Daj modelowi wyjście awaryjne. Kategoria „inne” w schemacie i osobna gałąź dla niej, żeby nic nie było wciskane na siłę.
  3. Dodaj DEFAULT_ROUTE do każdego rozgałęzienia. Bez niego trasa bez krawędzi kończy przebieg z jednym ostrzeżeniem w logu.
  4. Zdecyduj, co robi ValidationError. Ponowienie, kolejka do człowieka albo zapis do logu z alarmem. Domyślnie workflow się zatrzymuje.
  5. Przenieś liczby i daty do kodu. Model wyciąga wartość, kod ją porównuje.
  6. Testuj router bez modelu, a model bez routera. Router testem jednostkowym, model na zbiorze z etykietami. Model na niby, który zwraca ustaloną odpowiedź, pozwala uruchomić cały graf w CI za darmo.
  7. Jeśli potrzebujesz prawdopodobieństw, sięgnij po narzędzie, które je daje. Modelu ogólnego przeznaczenia nie zmusisz schematem do skalibrowanej pewności.

Nazwa „System One” dotyczy modelu, ale podział, który za nią stoi, działa w każdym frameworku: model odpowiada na wąskie pytanie, a kod bierze odpowiedzialność za to, co z odpowiedzią zrobić.

Źródła

  1. [1]Introducing System One Models & JevTypeSafe AI
  2. [2]IntroductionTypeSafe AI, dokumentacja
  3. [3]Companion NoulTypeSafe AI, dokumentacja
  4. [4]ConfidenceTypeSafe AI, dokumentacja
  5. [5]Model jaggednessTypeSafe AI, dokumentacja
  6. [6]ModelsTypeSafe AI, dokumentacja
  7. [7]Jev with coding agentsTypeSafe AI, dokumentacja
  8. [8]google-adk: historia wydańPyPI
  9. [9]Agent Development Kit: dokumentacjaGoogle
Przemysław Zagórski

Przemysław Zagórski

Programista i architekt, 14+ lat w telco i enterprise IT. Prowadzi warsztaty z inżynierii kontekstu, GitHub Copilota, Google ADK oraz ekosystemu Gemini dla zespołów, które muszą dowozić produkcyjnie.

Jeśli widzisz te problemy u siebie, zwykle da się je rozbroić w kilka dni roboczych. Nie kolejnym narzędziem, tylko zmianą sposobu pracy zespołu. Chętnie omówię Wasz przypadek.

6 min czytania

Twój pipeline nie przejdzie ewaluacji i to nie jest błąd

Agenta nie da się sprawdzić przez assert, bo poprawnych odpowiedzi jest wiele. Opisuję, czym ADK to zastępuje, dlaczego wielostopniowy pipeline wywala AgentEvaluator i jak to obejść bez rezygnacji z testów.

  • ADK
  • Agenci
  • Jakość kodu
Czytaj