Przejdź do treści
← Wszystkie webinary
Webinar Opanuj.AI

Który model naprawdę Ci się opłaca? Zmierz koszt zadania, zanim przepalisz budżet

Premiera 10x-bench-kit: jak zbudować własny benchmark modeli AI na zadaniach z własnego repozytorium i porównać modele pod względem jakości, stabilności, kosztu i czasu.

Prowadzący
Przemek Smyrdek, Marcin Czarkowski

Obejrzyj na YouTube

Przemek Smyrdek i Marcin Czarkowski pokazali 10x-bench-kit, otwarte narzędzie do budowania własnego benchmarku modeli AI na zadaniach z własnego repozytorium. W demo pięć modeli dostało pięć zadań z kodu platformy kursowej Przeprogramowanych, a leaderboard zestawił ich jakość, stabilność, koszt i czas. W drugiej części prowadzący omówili darmowe materiały z ekosystemu 10xDevs, program 10xDevs 4.0 i odpowiedzieli na pytania widzów.

Najważniejsze wnioski

  • Premiera modelu to jeszcze nie powód do przesiadki. Każda zmiana kosztuje tokeny, czas, koncentrację i przyzwyczajenia, a czasem kończy się regresją. Marcin podał przykład Opusa 5, który w wielu workflow bez dostosowania sprawdza się gorzej od poprzednika.
  • Publiczne rankingi często nie pokazują kosztu ani czasu. Sprawdzają model w jednym setupie, często na losowych zgłoszeniach z GitHuba, a wynik mówi tyle, czy przeszły testy. Własny benchmark to według Marcina testy, które pozwalają dobrać model, tak jak sprawdzasz wpływ zmiany biblioteki na aplikację.
  • Harness też wpływa na wynik. Jeden się zapętli, inny nie. Jeden użyje właściwego skilla, inny go pominie. 10x-bench-kit uruchamia na razie modele w OpenCode, kolejne harnessy są w planach.
  • Czytaj jakość, koszt i czas razem. W demo Claude Sonnet 5 wypadł najlepiej jakościowo, ale był około cztery razy droższy od GLM, który zaliczył cztery zadania na pięć. Model z rodziny GPT-5.6 osiągnął wysoki wynik za szesnaście centów, a inny wydał osiemdziesiąt centów i zaliczył dwa zadania.
  • Szczegółowy plan wyrównuje modele, ogólny prompt je rozdziela. Refaktoryzację opartą na szczegółowym planie zaliczyły wszystkie modele, w czasie od kilku do prawie dwudziestu minut. W zadaniu z rokiem w stopce cztery modele wpisały rok na sztywno, a tylko Sonnet wyliczył go z bieżącej daty.
  • Najmocniejsze modele przydają się głównie do planowania. Tańszy i szybszy model dobrze zaimplementuje kod, jeżeli kluczowe decyzje zapadły wcześniej w planie.
  • Sprawdzaj, dlaczego próba się nie powiodła. Podejrzane zera Qwena wynikały z błędów 429 na OpenRouterze, czyli z przekroczonego limitu zapytań. Takie próby się powtarza.
  • Pilnuj kosztu samego pomiaru. Pięć zadań po trzy próby na pięciu modelach to siedemdziesiąt pięć wykonań. Limity prób, czasu i budżetu chronią przed zapętlonym agentem, a nowy model dokłada tylko własne próby.

Rozdziały

  • 0:00:00 Po co własny benchmark: koszt zmiany modelu i ograniczenia publicznych rankingów
  • 0:06:08 Wnioski z 10xBench: modele i harnessy różnią się bardziej, niż się zakłada
  • 0:14:11 Jeden prompt a praca z researchem i planem. Czego brakowało w 10xBench
  • 0:20:17 10x-bench-kit: leaderboard na produkcyjnym repozytorium, pięć modeli i cztery metryki
  • 0:24:21 Wyniki: różnice w kosztach, pięć zadań, rok w stopce i refaktoryzacja z planem
  • 0:28:23 10xCLI i inicjalizacja nowego benchmarku
  • 0:36:27 Konfiguracja: sędzia, liczba prób, limity, OpenRouter i pierwsze uruchomienie
  • 0:42:32 Tworzenie zadań: poziomy szczegółowości promptu, oś oceny i budowanie benchmarku
  • 0:57:44 Podejrzane wyniki, odświeżanie zadań i aktualizacja silnika
  • 1:02:46 Izolacja w Dockerze, limity kosztów, CI/CD i efekt skali
  • 1:12:56 Ekosystem 10xDevs: 10xFoundations, 10xDevs Hub, Space Explorers i 10xCLI
  • 1:32:13 Program 10xDevs 4.0
  • 1:53:32 Pytania widzów: pliki zamiast RAG, harness, budżet rozumowania, modele frontier, subskrypcje
  • 2:11:41 Spotkania na żywo i zakończenie

Materiały

  • 10x-bench-kit - środowisko, na którym zbudujesz własny benchmark
  • 10xCLI - narzędzie do pracy z AI z terminala
  • 10xFoundations - darmowy kurs wprowadzający do programowania z AI
  • 10xDevs Hub - miejsce, w którym zbieramy materiały i narzędzia
  • Space Explorers - gra do ćwiczenia pracy z AI w praktyce

Newsletter Opanuj AI

Subskrybuj ręcznie selekcjonowane materiały z obszarów AI i rynku nowych technologii, które pomagają dowozić lepsze rezultaty i budować kulturę innowacji

Zapisując się do newslettera akceptujesz naszą politykę prywatności.

W każdy poniedziałek
Otrzymuj podsumowanie najważniejszych informacji z branży AI i nowych technologii. Gwarantujemy zero spamu i tylko wartościowe treści.
Tylko najlepsze materiały
Materiały zamieszczane w newsletterze przechodzą proces selekcji, gdzie wymagamy jakości i możliwej do wykorzystania wiedzy.