Jak wybrać najlepszego Agenta AI do programowania?
Dlaczego publiczne rankingi nie wybiorą za Ciebie agenta i jak zbudować własny benchmark: zadanie, scorecard, kilka prób i koszt każdej z nich.
- Prowadzący
- Przemek Smyrdek, Marcin Czarkowski
Przemek Smyrdek i Marcin Czarkowski pokazali, jak sprawdzać agentów i modele na własnych zadaniach, a rankingi z internetu traktować jako jedno z kilku źródeł. Przemek omówił 10xBench i na żywo zbudował mały benchmark dla aplikacji w Laravelu. Marcin wyjaśnił ograniczenia publicznych benchmarków i po raz pierwszy przedstawił wyniki nowego evala, w którym dziewięć modeli wdrażało tę samą funkcję wyszukiwania w OpenCode.
Najważniejsze wnioski
- Jeden prompt wystarcza dziś na więcej, niż podpowiada intuicja. W 10xBench agent dostaje jeden prompt i ma od zera zbudować stronę Przeprogramowanych w Astro i Svelte z adapterem Cloudflare, z prawdziwymi danymi z feedów YouTube i Spotify. Na przełomie kwietnia i maja najlepiej wypadł Codex z GPT-5.3 i GPT-5.4, trzeci był GLM-5.1, a Claude Sonnet i Claude Opus znalazły się niżej.
- Własny benchmark składa się z pięciu elementów. Potrzebujesz definicji stacku, zadania opisanego jako przejście od stanu początkowego repozytorium do końcowego, scorecardu, ustalonej liczby prób i dopiero na końcu optymalizacji, na przykład skilli albo izolacji w CI/CD. Scorecard rzadko wychodzi dobrze za pierwszym razem, więc poprawiaj go po obejrzeniu pracy agentów.
- Pojedyncza próba niczego nie rozstrzyga. W demo ten sam GLM-4.6 w OpenCode dostał zadanie zbudowania książki kontaktów w Laravelu na maszynie bez PHP i Composera. W pierwszej próbie pisał pliki ręcznie i dostał 4 punkty na 17, w drugiej sam doinstalował środowisko i zdobył komplet.
- Publiczne benchmarki mierzą wąski wycinek pracy i podlegają prawu Goodharta. SWE-bench sprawdza naprawę bugów w otwartych repozytoriach w Pythonie i ocenia zero-jedynkowo, więc różnica między 74% a 76% może wynikać z pojedynczych zadań. Te same modele we FeatureBench, który mierzy dowożenie funkcji od początku do końca, mają 11%.
- Wynik zależy także od narzędzia, w którym pracuje model. Marcin przywołał SWE-Bench Pro, gdzie ten sam model w najprostszej obudowie miał 45% skuteczności, a Claude Opus w Claude Code o 10 punktów procentowych więcej. W jego evalu, uruchamianym w OpenCode, modele Anthropic i OpenAI wypadły gorzej od tańszych chińskich alternatyw, co nie przesądza o wyniku w ich własnych narzędziach.
- Przy zbliżonej jakości o wyborze decyduje koszt zadania. W evalu Marcina wygrał Qwen 3.6 Plus, który wykonał zadanie za 3,5 dolara. Drugi był DeepSeek V4 Flash z kosztem 2 centów, a Opus 4.7 na szóstym miejscu wydał prawie 9 dolarów. Modele z USA nadal najbardziej opłaca się kupować w subskrypcji, bo jeden przebieg Opusa 4.7 przez API kosztował około 10 dolarów.
- Ten sam plan pomaga jednym modelom, a innym szkodzi. Marcin porównał trzy warianty: plan wygenerowany przez GPT-5.4 bez ingerencji, plan przygotowany wspólnie z Opusem i brak planu. Sonnet i Opus pracowały wyraźnie lepiej z dopracowanym planem, DeepSeek V4 Flash prawie nie reagował na zmianę, a Gemini 3.1 Pro i DeepSeek V3.2 radziły sobie gorzej, gdy plan narzucał sposób wykonania.
Rozdziały
- 0:00:00 Start i plan webinaru: jak poradzić sobie z AI FOMO
- 0:03:02 Migracja strony Przeprogramowanych i pytanie o koniec programowania
- 0:07:10 10xBench: jeden prompt, kilka prób, 10 kryteriów i pierwsze wyniki
- 0:16:19 Pięć kroków do własnego benchmarku
- 0:20:22 Demo: projektowanie przypadku testowego dla aplikacji w Laravelu
- 0:28:34 Dlaczego publiczne benchmarki dają fałszywą pewność
- 0:47:55 Demo: konfiguracja, prompt, scorecard i pierwsza ocena prób
- 0:53:58 Lekcje z 10xBench: wyjście poza sandbox, pętle, kopiowanie i ściąganie ze scorecardu
- 1:13:18 Demo: druga próba GLM-4.6, logi agenta i izolacja w Dockerze
- 1:18:19 Nowy eval: plan, implementacja w osobnych worktree i ocena przez dwa modele
- 1:25:29 Wyniki: Qwen 3.6 Plus, DeepSeek V4 Flash i koszty zadania
- 1:28:32 Jak plan wpływa na wyniki różnych modeli
- 1:30:33 Subskrypcje czy API, modele lokalne i dane wysyłane do chińskich dostawców
- 1:40:42 Pytania: gotowe frameworki, bezpieczeństwo, agenci w Dockerze, seniority i deskilling
Materiały
- 10xBench - wyniki benchmarku, w którym agenci budują stronę jednym promptem