Który model naprawdę Ci się opłaca? Zmierz koszt zadania, zanim przepalisz budżet
Premiera 10x-bench-kit: jak zbudować własny benchmark modeli AI na zadaniach z własnego repozytorium i porównać modele pod względem jakości, stabilności, kosztu i czasu.
- Prowadzący
- Przemek Smyrdek, Marcin Czarkowski
Przemek Smyrdek i Marcin Czarkowski pokazali 10x-bench-kit, otwarte narzędzie do budowania własnego benchmarku modeli AI na zadaniach z własnego repozytorium. W demo pięć modeli dostało pięć zadań z kodu platformy kursowej Przeprogramowanych, a leaderboard zestawił ich jakość, stabilność, koszt i czas. W drugiej części prowadzący omówili darmowe materiały z ekosystemu 10xDevs, program 10xDevs 4.0 i odpowiedzieli na pytania widzów.
Najważniejsze wnioski
- Premiera modelu to jeszcze nie powód do przesiadki. Każda zmiana kosztuje tokeny, czas, koncentrację i przyzwyczajenia, a czasem kończy się regresją. Marcin podał przykład Opusa 5, który w wielu workflow bez dostosowania sprawdza się gorzej od poprzednika.
- Publiczne rankingi często nie pokazują kosztu ani czasu. Sprawdzają model w jednym setupie, często na losowych zgłoszeniach z GitHuba, a wynik mówi tyle, czy przeszły testy. Własny benchmark to według Marcina testy, które pozwalają dobrać model, tak jak sprawdzasz wpływ zmiany biblioteki na aplikację.
- Harness też wpływa na wynik. Jeden się zapętli, inny nie. Jeden użyje właściwego skilla, inny go pominie. 10x-bench-kit uruchamia na razie modele w OpenCode, kolejne harnessy są w planach.
- Czytaj jakość, koszt i czas razem. W demo Claude Sonnet 5 wypadł najlepiej jakościowo, ale był około cztery razy droższy od GLM, który zaliczył cztery zadania na pięć. Model z rodziny GPT-5.6 osiągnął wysoki wynik za szesnaście centów, a inny wydał osiemdziesiąt centów i zaliczył dwa zadania.
- Szczegółowy plan wyrównuje modele, ogólny prompt je rozdziela. Refaktoryzację opartą na szczegółowym planie zaliczyły wszystkie modele, w czasie od kilku do prawie dwudziestu minut. W zadaniu z rokiem w stopce cztery modele wpisały rok na sztywno, a tylko Sonnet wyliczył go z bieżącej daty.
- Najmocniejsze modele przydają się głównie do planowania. Tańszy i szybszy model dobrze zaimplementuje kod, jeżeli kluczowe decyzje zapadły wcześniej w planie.
- Sprawdzaj, dlaczego próba się nie powiodła. Podejrzane zera Qwena wynikały z błędów 429 na OpenRouterze, czyli z przekroczonego limitu zapytań. Takie próby się powtarza.
- Pilnuj kosztu samego pomiaru. Pięć zadań po trzy próby na pięciu modelach to siedemdziesiąt pięć wykonań. Limity prób, czasu i budżetu chronią przed zapętlonym agentem, a nowy model dokłada tylko własne próby.
Rozdziały
- 0:00:00 Po co własny benchmark: koszt zmiany modelu i ograniczenia publicznych rankingów
- 0:06:08 Wnioski z 10xBench: modele i harnessy różnią się bardziej, niż się zakłada
- 0:14:11 Jeden prompt a praca z researchem i planem. Czego brakowało w 10xBench
- 0:20:17 10x-bench-kit: leaderboard na produkcyjnym repozytorium, pięć modeli i cztery metryki
- 0:24:21 Wyniki: różnice w kosztach, pięć zadań, rok w stopce i refaktoryzacja z planem
- 0:28:23 10xCLI i inicjalizacja nowego benchmarku
- 0:36:27 Konfiguracja: sędzia, liczba prób, limity, OpenRouter i pierwsze uruchomienie
- 0:42:32 Tworzenie zadań: poziomy szczegółowości promptu, oś oceny i budowanie benchmarku
- 0:57:44 Podejrzane wyniki, odświeżanie zadań i aktualizacja silnika
- 1:02:46 Izolacja w Dockerze, limity kosztów, CI/CD i efekt skali
- 1:12:56 Ekosystem 10xDevs: 10xFoundations, 10xDevs Hub, Space Explorers i 10xCLI
- 1:32:13 Program 10xDevs 4.0
- 1:53:32 Pytania widzów: pliki zamiast RAG, harness, budżet rozumowania, modele frontier, subskrypcje
- 2:11:41 Spotkania na żywo i zakończenie
Materiały
- 10x-bench-kit - środowisko, na którym zbudujesz własny benchmark
- 10xCLI - narzędzie do pracy z AI z terminala
- 10xFoundations - darmowy kurs wprowadzający do programowania z AI
- 10xDevs Hub - miejsce, w którym zbieramy materiały i narzędzia
- Space Explorers - gra do ćwiczenia pracy z AI w praktyce