Przejdź do treści
← Wszystkie webinary
Webinar Opanuj.AI

Jak wybrać najlepszego Agenta AI do programowania?

Dlaczego publiczne rankingi nie wybiorą za Ciebie agenta i jak zbudować własny benchmark: zadanie, scorecard, kilka prób i koszt każdej z nich.

Prowadzący
Przemek Smyrdek, Marcin Czarkowski

Obejrzyj na YouTube

Przemek Smyrdek i Marcin Czarkowski pokazali, jak sprawdzać agentów i modele na własnych zadaniach, a rankingi z internetu traktować jako jedno z kilku źródeł. Przemek omówił 10xBench i na żywo zbudował mały benchmark dla aplikacji w Laravelu. Marcin wyjaśnił ograniczenia publicznych benchmarków i po raz pierwszy przedstawił wyniki nowego evala, w którym dziewięć modeli wdrażało tę samą funkcję wyszukiwania w OpenCode.

Najważniejsze wnioski

  • Jeden prompt wystarcza dziś na więcej, niż podpowiada intuicja. W 10xBench agent dostaje jeden prompt i ma od zera zbudować stronę Przeprogramowanych w Astro i Svelte z adapterem Cloudflare, z prawdziwymi danymi z feedów YouTube i Spotify. Na przełomie kwietnia i maja najlepiej wypadł Codex z GPT-5.3 i GPT-5.4, trzeci był GLM-5.1, a Claude Sonnet i Claude Opus znalazły się niżej.
  • Własny benchmark składa się z pięciu elementów. Potrzebujesz definicji stacku, zadania opisanego jako przejście od stanu początkowego repozytorium do końcowego, scorecardu, ustalonej liczby prób i dopiero na końcu optymalizacji, na przykład skilli albo izolacji w CI/CD. Scorecard rzadko wychodzi dobrze za pierwszym razem, więc poprawiaj go po obejrzeniu pracy agentów.
  • Pojedyncza próba niczego nie rozstrzyga. W demo ten sam GLM-4.6 w OpenCode dostał zadanie zbudowania książki kontaktów w Laravelu na maszynie bez PHP i Composera. W pierwszej próbie pisał pliki ręcznie i dostał 4 punkty na 17, w drugiej sam doinstalował środowisko i zdobył komplet.
  • Publiczne benchmarki mierzą wąski wycinek pracy i podlegają prawu Goodharta. SWE-bench sprawdza naprawę bugów w otwartych repozytoriach w Pythonie i ocenia zero-jedynkowo, więc różnica między 74% a 76% może wynikać z pojedynczych zadań. Te same modele we FeatureBench, który mierzy dowożenie funkcji od początku do końca, mają 11%.
  • Wynik zależy także od narzędzia, w którym pracuje model. Marcin przywołał SWE-Bench Pro, gdzie ten sam model w najprostszej obudowie miał 45% skuteczności, a Claude Opus w Claude Code o 10 punktów procentowych więcej. W jego evalu, uruchamianym w OpenCode, modele Anthropic i OpenAI wypadły gorzej od tańszych chińskich alternatyw, co nie przesądza o wyniku w ich własnych narzędziach.
  • Przy zbliżonej jakości o wyborze decyduje koszt zadania. W evalu Marcina wygrał Qwen 3.6 Plus, który wykonał zadanie za 3,5 dolara. Drugi był DeepSeek V4 Flash z kosztem 2 centów, a Opus 4.7 na szóstym miejscu wydał prawie 9 dolarów. Modele z USA nadal najbardziej opłaca się kupować w subskrypcji, bo jeden przebieg Opusa 4.7 przez API kosztował około 10 dolarów.
  • Ten sam plan pomaga jednym modelom, a innym szkodzi. Marcin porównał trzy warianty: plan wygenerowany przez GPT-5.4 bez ingerencji, plan przygotowany wspólnie z Opusem i brak planu. Sonnet i Opus pracowały wyraźnie lepiej z dopracowanym planem, DeepSeek V4 Flash prawie nie reagował na zmianę, a Gemini 3.1 Pro i DeepSeek V3.2 radziły sobie gorzej, gdy plan narzucał sposób wykonania.

Rozdziały

  • 0:00:00 Start i plan webinaru: jak poradzić sobie z AI FOMO
  • 0:03:02 Migracja strony Przeprogramowanych i pytanie o koniec programowania
  • 0:07:10 10xBench: jeden prompt, kilka prób, 10 kryteriów i pierwsze wyniki
  • 0:16:19 Pięć kroków do własnego benchmarku
  • 0:20:22 Demo: projektowanie przypadku testowego dla aplikacji w Laravelu
  • 0:28:34 Dlaczego publiczne benchmarki dają fałszywą pewność
  • 0:47:55 Demo: konfiguracja, prompt, scorecard i pierwsza ocena prób
  • 0:53:58 Lekcje z 10xBench: wyjście poza sandbox, pętle, kopiowanie i ściąganie ze scorecardu
  • 1:13:18 Demo: druga próba GLM-4.6, logi agenta i izolacja w Dockerze
  • 1:18:19 Nowy eval: plan, implementacja w osobnych worktree i ocena przez dwa modele
  • 1:25:29 Wyniki: Qwen 3.6 Plus, DeepSeek V4 Flash i koszty zadania
  • 1:28:32 Jak plan wpływa na wyniki różnych modeli
  • 1:30:33 Subskrypcje czy API, modele lokalne i dane wysyłane do chińskich dostawców
  • 1:40:42 Pytania: gotowe frameworki, bezpieczeństwo, agenci w Dockerze, seniority i deskilling

Materiały

  • 10xBench - wyniki benchmarku, w którym agenci budują stronę jednym promptem

Newsletter Opanuj AI

Subskrybuj ręcznie selekcjonowane materiały z obszarów AI i rynku nowych technologii, które pomagają dowozić lepsze rezultaty i budować kulturę innowacji

Zapisując się do newslettera akceptujesz naszą politykę prywatności.

W każdy poniedziałek
Otrzymuj podsumowanie najważniejszych informacji z branży AI i nowych technologii. Gwarantujemy zero spamu i tylko wartościowe treści.
Tylko najlepsze materiały
Materiały zamieszczane w newsletterze przechodzą proces selekcji, gdzie wymagamy jakości i możliwej do wykorzystania wiedzy.