Closing the Agentic Loop
Marcin Czarkowski gościem AI Tech Leaders: proces pracy z agentami od intencji do produkcji, repozytorium jako miejsce na wszystkie artefakty, pętla testów i specyfikacja jako źródło scenariuszy testowych.
- Prowadzący
- Piotr Karwatka, Patryk Lewczuk
- Goście
- Marcin Czarkowski
Dwugodzinne spotkanie AI Tech Leaders, na którym Marcin Czarkowski był gościem Piotra Karwatki i Patryka Lewczuka z Open Mercato. Marcin pokazał proces pracy z agentami, którego uczymy w 10xDevs, a Patryk fabrykę oprogramowania Open Mercato, nad którym pracuje ponad 140 kontrybutorów. Potem rozmowa zeszła na swobodę agentów, koszty tokenów, testy i specyfikacje. Ponad 50 minut na końcu to odpowiedzi na pytania widzów, a do końca zostało ponad 300 osób.
Najważniejsze wnioski
- Sześć kroków od intencji do produkcji, każdy z artefaktem w repozytorium. Marcin Czarkowski pokazał proces z 10xDevs: opis zmiany, research codebase’u, plan z decyzjami i kontraktami, implementacja etapami z testami i osobnymi commitami, review oraz archiwum. Każdy krok ma swój skill i zostawia plik, więc po pół roku da się sprawdzić, skąd wzięła się dana decyzja. Skilli jest około 30 i mają pasować do dowolnego stacku, w nowym i w istniejącym projekcie.
- W Open Mercato repozytorium jest miejscem komunikacji całego zespołu, także agentów. „Praktycznie wszystko trzymamy w repozytorium” - mówił Patryk Lewczuk. Trafiają tam specyfikacje (duża funkcjonalność potrafi mieć ich wiele), klikalne mokupy z komentarzami, handoffy agenta, checkpointy ze zrzutami ekranu i atomowe commity.
- Przy dużym zespole skille opisują proces. Piotr Karwatka opowiadał, że kłopoty zaczęły się, gdy do projektu dołączali kolejni kontrybutorzy, a dziś jest ich ponad 140: każdy dostarczał zmiany inaczej. Skille powstały więc pod konkretne czynności, takie jak code review czy zgłaszanie issue. Nadają też te same labelki na wszystkich pull requestach i issue, dzięki czemu agent sam widzi, że nad danym PR ktoś już pracuje. Marcin zaznaczył, że skille 10xDevs mają inny cel: są elastyczne i służą jednej osobie, która chce szybko dowieźć zmianę.
- Agent może pracować samodzielnie, a to, ile kodu czytasz, zależy od ryzyka zmiany. Według Marcina przy dobrym planie agent powinien implementować bez pytania o zgodę na każdy krok. Przy zmianie koloru przycisku wystarczy przeklikać efekt i puścić testy. Przy zmianach w module autoryzacji czyta kod. Za zmianę w rdzeniu systemu ktoś musi wziąć odpowiedzialność i zrobić code review, bo gdy produkcja padnie w nocy, „do agenta raczej nie zadzwonimy”.
- Agent, który sam testuje swoją pracę, pracuje dłużej, ale zostawia mniej poprawek. Piotr zlecił dwa podobne ekrany: „pacjent” i „wizyta”. Pierwszy agent dostał jako jedno polecenie „zaimplementuj specyfikację” i skończył po około półtorej godziny, a przy klikaniu od razu pojawił się błąd, który udało się szybko poprawić. Drugi powstawał w pętli, z subagentami i testami w przeglądarce po każdym kroku: 9 godzin, mniej więcej 10 razy więcej tokenów i praktycznie żadnych poważnych błędów, zostały drobiazgi w interfejsie. Jego wniosek: „to zużycie tokenów to jest taki trochę koszt za ten czas, co się zaoszczędza”, bo bez pętli te testy musi wykonać człowiek.
- Nie każde zadanie trafia do najdroższego modelu. Przy seriach review w Open Mercato droższy model koordynuje pracę i wybiera pull requesty do przejrzenia, a same przeglądy zleca tańszemu.
- Skille trzeba ewaluować tak jak modele. Marcin opisał 10x-bench-kit, otwarte repozytorium do ewaluacji modeli i skilli. To, co mierzysz, zależy od skilla: przy researchu liczbę wywołań narzędzi i ilość ładowanego kontekstu, przy planowaniu to, czy trzyma proces podejmowania decyzji i format wyniku. LLM w roli sędziego jest szybszy od człowieka, ale warstwę wizualną nadal powinien ocenić człowiek. Ewaluacje kosztują, więc warto je robić przede wszystkim dla rzeczy krytycznych. Open Mercato ma podobny ewaluator oparty na ponad 230 przypadkach użycia.
- Pierwsze scenariusze testów to specyfikacja. W Open Mercato nic nie powstaje bez specyfikacji: use case’y stają się test case’ami, a mokupy pokazują, jakie pola mają się pojawić. „Jeżeli nie masz dobrej specyfikacji, to nie zrobisz dobrych testów” - mówił Marcin, bo dopiero na jej podstawie da się określić ryzyka do sprawdzenia. Piotr przyznał, że reguła „każdy pull request ma test” doprowadziła u nich do testu jednostkowego dla zmiany w README, więc skill musi mówić, co testować. Obaj uznali, że około 70% pokrycia kodu, o ile obejmuje kluczowe części systemu, daje wystarczające bezpieczeństwo.
- Specyfikacje i plany zostają w repozytorium także po wdrożeniu. Na pytanie, czy nie robi się z tego śmietnik, Marcin odpowiedział, że nie usuwałby ich. Wystarczy osobny folder na archiwum opisany w AGENTS.md. To historia decyzji: kto napisał specyfikację, kto ją zaakceptował i wdrożył. Przydaje się przy powrocie do systemu po dłuższym czasie i przy wdrażaniu nowej osoby.
Rozdziały
- 0:00:00 Powitanie i przedstawienie gości
- 0:04:44 Marcin Czarkowski: sześć kroków od intencji do produkcji
- 0:09:48 Demo Patryka Lewczuka: skille i repozytorium Open Mercato
- 0:17:57 Dwa podejścia do skilli: elastyczne i pod proces
- 0:24:02 Ile swobody dać agentowi i kiedy czytać kod
- 0:28:07 Eksperyment z dwoma ekranami i koszt tokenów
- 0:31:07 Ewaluacja skilli i kontekstu
- 0:37:11 Co musi zrobić człowiek przed wdrożeniem na produkcję
- 0:42:15 Specyfikacja, testy i 70% pokrycia kodu
- 0:53:22 10xDevs i AI Tech Leaders: czym różnią się programy
- 1:05:32 Q&A: wiedza domenowa i specyfikacje w repozytorium
- 1:17:37 Q&A: koszty tokenów, integracje i testy interfejsu
- 1:30:49 Q&A: czy pracując z agentami, tracisz umiejętność kodowania
- 1:36:58 Q&A: skalowanie, agenci w chmurze, bezpieczeństwo i narzędzia