Przejdź do treści
← Wszystkie webinary
Webinar Opanuj.AI

AI napisało kod. Kto odważy się go wdrożyć? Quality engineering, weryfikacja i code review z agentami

Jak sprawdzać zmiany pisane przez agenta: plan z no-goes, testy, które potrafią zapalić się na czerwono, i review względem planu.

Prowadzący
Przemek Smyrdek, Marcin Czarkowski

Obejrzyj na YouTube

Piątek, 16:40. Do repozytorium wpada pull request od agenta, który sam podjął issue zgłoszone przez użytkownika, a CI/CD świeci na zielono. Od tego ćwiczenia Przemek Smyrdek i Marcin Czarkowski zaczęli rozmowę o jakości kodu pisanego z agentami. Marcin pokazał case study na Mattermoście: prawie milion linii kodu, frontend w Reakcie, backend w Go, ponad dziesięć lat historii. Błąd, znaleziony przy analizie architektonicznej w czwartym module 10xDevs 3.0, polegał na tym, że wiadomości importowane batchowo ze Slacka trafiały do bazy, ale nie do indeksu Elasticsearcha.

Najważniejsze wnioski

  • Zielone CI nie gwarantuje, że agent zrobił to, o co chodziło. Sam zielony pipeline nie mówi, czy zmiana jest zgodna z intencją, czyli z tym, co zgłosił użytkownik. Nie wystarcza też to, że agent potwierdza wykonanie pracy. Pierwsza odpowiedź z czatu: najpierw przeczytaj pull request.
  • „Działa” trzeba zapisać konkretnie. W planie zmiany były trzy kryteria: każda kwalifikująca się wiadomość trafia do indeksu z własnym ID, istniejące wykluczenia zostają (wiadomości znikające po odczytaniu nie są indeksowane), a zapis do indeksu i wyszukiwanie w Elasticsearchu są testowane osobno. Pominięcie jednego z dwóch dowodów daje fałszywe poczucie bezpieczeństwa.
  • Pilnuj zakresu zmiany. Poprawki „skoro już tam jesteśmy” Marcin nazwał autostradą do piekła: z dwustu linijek w PR-ze robi się dwa tysiące i code review zwalnia. W planie zapisuj cel, no-goes i kryteria akceptacji. Własny skill do planowania daje wpływ na format planu, którego wbudowany Plan Mode nie daje.
  • Dobry test zauważa, że coś nie działa. Poprawka zajęła jedenaście linijek logiki. W testach mutacyjnych agent celowo psuje poprawiony kod i sprawdza, czy test zapali się na czerwono. W demo ten sam test padał na kodzie z mastera i przechodził na kodzie z poprawką. Polecenie „otestuj mi to” daje dużo testów, które niczego nie wnoszą.
  • Test bywa kontraktem. Jeśli agent otestuje zachowanie, które powstało przypadkiem, kolejni programiści odczytają je jako przemyślaną regułę biznesową. Taki błąd jest trudniejszy do naprawienia niż kod bez testów.
  • Rób review względem planu. W nowej sesji albo w innym modelu podaj plan i branch i zapytaj, czy implementacja pokrywa się z decyzjami. Tak wychodzą refaktory, o które nikt nie prosił. Jeśli kodujesz w Claude Code, review warto oddać do Codexa. Plan commituj razem z kodem, bo daje kontekst osobie, która robi review.
  • Skille to bramki miękkie, testy i linter na CI to twarde. Instrukcję w regule albo skillu agent może zignorować. Testu i lintera uruchamianego w niezależnym środowisku, w którym nie zmieni konfiguracji, nie ominie. Do twardych bramek należą też hooki w agentach i w Gicie. Najlepiej działa połączenie obu rodzajów.
  • Agent ma wracać po decyzję. W skillu implementacyjnym warto zapisać, że kiedy praca rozjeżdża się z planem albo agent kręci się w kółko, ma przerwać i przedstawić sytuację. Punktem odniesienia jest plan z celem, kryteriami akceptacji i no-goes.
  • Odbiór kodu zajmuje dziś więcej czasu niż jego pisanie. Przy wykresie METR Przemek opowiedział, jak agent przez godzinę i czterdzieści minut samodzielnie realizował roadmapę z czternastoma elementami. Na pytanie, czy można już ufać, że kod działa, prowadzący odpowiedzieli, że nie: w systemach krytycznych liczy się każda linijka, a w pozostałych dużą część code review zdejmują analiza statyczna i dobre testy.

Rozdziały

  • 0:00:00 Powitanie i temat spotkania
  • 0:02:02 Ćwiczenie: piątek 16:40, PR od agenta i zielone CI
  • 0:06:05 Pętla agentowa i code review z agentem
  • 0:10:06 Mattermost: projekt i błąd w imporcie wiadomości ze Slacka
  • 0:16:12 Dwa dowody i konkretne kryteria akceptacji
  • 0:20:15 Zakres zmiany, no-goes i pliki kontekstowe
  • 0:24:20 Rozmowa z agentem: metoda sokratejska i powrót po decyzję
  • 0:28:23 Test jako kontrakt i review względem planu
  • 0:30:24 Testy mutacyjne i demo na kodzie Mattermosta
  • 0:39:28 Własny skill do planowania, bramki miękkie i twarde, archiwum zmian
  • 0:47:31 Pytania: kiedy agent ma wrócić po decyzję, commitowanie planu, Plan Mode
  • 0:56:36 Autonomiczne fabryki oprogramowania
  • 1:00:39 10xDevs 4.0: program, skille i narzędzia
  • 1:41:11 Czy nadal czytać kod? Wykres METR i zakończenie

Materiały

  • Mattermost - repozytorium, na którym pokazano case study
  • METR - instytut, którego wykres długości zadań realizowanych przez agentów pojawił się na koniec
  • 10xFoundations - darmowy kurs wprowadzający do programowania z AI, z testem wiedzy na start
  • 10xCLI - narzędzie, które dostarcza skille 10x Workflow do projektu z terminala

Newsletter Opanuj AI

Subskrybuj ręcznie selekcjonowane materiały z obszarów AI i rynku nowych technologii, które pomagają dowozić lepsze rezultaty i budować kulturę innowacji

Zapisując się do newslettera akceptujesz naszą politykę prywatności.

W każdy poniedziałek
Otrzymuj podsumowanie najważniejszych informacji z branży AI i nowych technologii. Gwarantujemy zero spamu i tylko wartościowe treści.
Tylko najlepsze materiały
Materiały zamieszczane w newsletterze przechodzą proces selekcji, gdzie wymagamy jakości i możliwej do wykorzystania wiedzy.