AI napisało kod. Kto odważy się go wdrożyć? Quality engineering, weryfikacja i code review z agentami
Jak sprawdzać zmiany pisane przez agenta: plan z no-goes, testy, które potrafią zapalić się na czerwono, i review względem planu.
- Prowadzący
- Przemek Smyrdek, Marcin Czarkowski
Piątek, 16:40. Do repozytorium wpada pull request od agenta, który sam podjął issue zgłoszone przez użytkownika, a CI/CD świeci na zielono. Od tego ćwiczenia Przemek Smyrdek i Marcin Czarkowski zaczęli rozmowę o jakości kodu pisanego z agentami. Marcin pokazał case study na Mattermoście: prawie milion linii kodu, frontend w Reakcie, backend w Go, ponad dziesięć lat historii. Błąd, znaleziony przy analizie architektonicznej w czwartym module 10xDevs 3.0, polegał na tym, że wiadomości importowane batchowo ze Slacka trafiały do bazy, ale nie do indeksu Elasticsearcha.
Najważniejsze wnioski
- Zielone CI nie gwarantuje, że agent zrobił to, o co chodziło. Sam zielony pipeline nie mówi, czy zmiana jest zgodna z intencją, czyli z tym, co zgłosił użytkownik. Nie wystarcza też to, że agent potwierdza wykonanie pracy. Pierwsza odpowiedź z czatu: najpierw przeczytaj pull request.
- „Działa” trzeba zapisać konkretnie. W planie zmiany były trzy kryteria: każda kwalifikująca się wiadomość trafia do indeksu z własnym ID, istniejące wykluczenia zostają (wiadomości znikające po odczytaniu nie są indeksowane), a zapis do indeksu i wyszukiwanie w Elasticsearchu są testowane osobno. Pominięcie jednego z dwóch dowodów daje fałszywe poczucie bezpieczeństwa.
- Pilnuj zakresu zmiany. Poprawki „skoro już tam jesteśmy” Marcin nazwał autostradą do piekła: z dwustu linijek w PR-ze robi się dwa tysiące i code review zwalnia. W planie zapisuj cel, no-goes i kryteria akceptacji. Własny skill do planowania daje wpływ na format planu, którego wbudowany Plan Mode nie daje.
- Dobry test zauważa, że coś nie działa. Poprawka zajęła jedenaście linijek logiki. W testach mutacyjnych agent celowo psuje poprawiony kod i sprawdza, czy test zapali się na czerwono. W demo ten sam test padał na kodzie z mastera i przechodził na kodzie z poprawką. Polecenie „otestuj mi to” daje dużo testów, które niczego nie wnoszą.
- Test bywa kontraktem. Jeśli agent otestuje zachowanie, które powstało przypadkiem, kolejni programiści odczytają je jako przemyślaną regułę biznesową. Taki błąd jest trudniejszy do naprawienia niż kod bez testów.
- Rób review względem planu. W nowej sesji albo w innym modelu podaj plan i branch i zapytaj, czy implementacja pokrywa się z decyzjami. Tak wychodzą refaktory, o które nikt nie prosił. Jeśli kodujesz w Claude Code, review warto oddać do Codexa. Plan commituj razem z kodem, bo daje kontekst osobie, która robi review.
- Skille to bramki miękkie, testy i linter na CI to twarde. Instrukcję w regule albo skillu agent może zignorować. Testu i lintera uruchamianego w niezależnym środowisku, w którym nie zmieni konfiguracji, nie ominie. Do twardych bramek należą też hooki w agentach i w Gicie. Najlepiej działa połączenie obu rodzajów.
- Agent ma wracać po decyzję. W skillu implementacyjnym warto zapisać, że kiedy praca rozjeżdża się z planem albo agent kręci się w kółko, ma przerwać i przedstawić sytuację. Punktem odniesienia jest plan z celem, kryteriami akceptacji i no-goes.
- Odbiór kodu zajmuje dziś więcej czasu niż jego pisanie. Przy wykresie METR Przemek opowiedział, jak agent przez godzinę i czterdzieści minut samodzielnie realizował roadmapę z czternastoma elementami. Na pytanie, czy można już ufać, że kod działa, prowadzący odpowiedzieli, że nie: w systemach krytycznych liczy się każda linijka, a w pozostałych dużą część code review zdejmują analiza statyczna i dobre testy.
Rozdziały
- 0:00:00 Powitanie i temat spotkania
- 0:02:02 Ćwiczenie: piątek 16:40, PR od agenta i zielone CI
- 0:06:05 Pętla agentowa i code review z agentem
- 0:10:06 Mattermost: projekt i błąd w imporcie wiadomości ze Slacka
- 0:16:12 Dwa dowody i konkretne kryteria akceptacji
- 0:20:15 Zakres zmiany, no-goes i pliki kontekstowe
- 0:24:20 Rozmowa z agentem: metoda sokratejska i powrót po decyzję
- 0:28:23 Test jako kontrakt i review względem planu
- 0:30:24 Testy mutacyjne i demo na kodzie Mattermosta
- 0:39:28 Własny skill do planowania, bramki miękkie i twarde, archiwum zmian
- 0:47:31 Pytania: kiedy agent ma wrócić po decyzję, commitowanie planu, Plan Mode
- 0:56:36 Autonomiczne fabryki oprogramowania
- 1:00:39 10xDevs 4.0: program, skille i narzędzia
- 1:41:11 Czy nadal czytać kod? Wykres METR i zakończenie
Materiały
- Mattermost - repozytorium, na którym pokazano case study
- METR - instytut, którego wykres długości zadań realizowanych przez agentów pojawił się na koniec
- 10xFoundations - darmowy kurs wprowadzający do programowania z AI, z testem wiedzy na start
- 10xCLI - narzędzie, które dostarcza skille 10x Workflow do projektu z terminala