AI nie zastępuje myślenia o kodzie (na szczęście)
Słuchaj też na
Transkrypcja odcinka
Tekst wygenerowany automatycznie - może zawierać drobne błędy i literówki.
Wróć do odtwarzacza ↑Materiały źródłowe
- https://itsallaboutthebit.com/i-am-sorry-but-you-still-have-to-think/
- https://www.seangoedecke.com/what-requirements-dont-you-have/
- https://addyo.substack.com/p/agentic-verification
Witajcie w podcaście Opanuj.AI, gdzie analizujemy najważniejsze zmiany i nowości ze świata sztucznej inteligencji. Witają się z wami Marcin Czarkowski i Przemek Smyrdek. W tym podcaście na drugą nóżkę, tak jak wspominaliśmy w ostatnim odcinku, podyskutujemy o wyzwaniach wcale nie tak łatwych do rozplątania w kontekście budowania z AI i wykorzystywania agentów do programowania. Mianowicie porozmawiamy o tym, co się dzieje w momencie, kiedy to agent decyduje za nas, jaką to implementację realizować, jakie decyzje podejmować, gdzie pojawi się jakaś przypadkowa złożoność i problemy. Od czego tutaj wychodzimy? Wychodzimy od historii słynnego DHH-a, twórcy Railsów, który to ostatnio zasłynął prezentacją na Rails World o końcu programisty takiego klasycznego. Ale dzisiaj w pewnym sensie zapłaci za to, bo musimy się przyjrzeć jego migracji systemu na inne języki programowania.
Husaria wjeżdża tutaj z odpowiedzią.
Husaria wjeżdża z odpowiedzią, nawet nie my, ale nasi tutaj przedstawiciele na konkretnie X. Porozmawiamy o migracji DHH, ostatnio na X właśnie opowiadał o tym, jak to migrował Campfire ONCE, taki komunikator, który budują w ramach Basecampu z Railsów na różne języki programowania, na Rusta, na Elixira i na Go. To wszystko miało być w zasadzie realizowane one-shot. Te niskopoziomowe detale miały być już nieistotne. Agenci mieli za nas rozwiązywać właśnie detale implementacyjne. Natomiast tutaj właśnie husarz Piotr Sarnacki pokazuje, że nie tak prędko opowiemy o tej jego analizie, o tym, co idzie nie tak w takiej migracji realizowanej naiwnie. Przytoczymy przykłady tego, gdzie agenci nadal się mylą, gdzie podejmują jakieś suboptymalne decyzje. Przejdziemy też właśnie do tego, gdzie są tak naprawdę luki działania agenta. Luki, które wynikają z samego procesu przygotowywania tych modeli. Opowiemy o tym, dlaczego te modele są kalibrowane tak, a nie inaczej. No i na końcu kilka rekomendacji od Addy’ego Osmaniego. Też w pewnym sensie z takim follow-upem do ostatniego odcinka, czyli o tym właśnie, na co stawiać w zespołach, co jest wąskim gardłem, na co się optymalizować jako programista.
Tak, będzie trochę o tym, za co cały czas możemy oczekiwać wypłaty jako programiści, jeżeli nie jest to już samo opisanie kodziku. Tak się składa, że jeszcze jest dość dużo obszarów, inżynierii programowania, za które można wypłatę pobierać. Słuchajcie, porozmawiajmy o tym case’ie Campfire, za które DHH zebrał słuszny backfire. Nie wiem, jak powiedzieć po polsku.
Wpierdziel.
Wpierdziel, otrzymał słusznie. On zamienił się teraz w turbo entuzjastę AI. Rok temu przypominał część naszej konkurencji z rodzimego podwórka. Był, można powiedzieć, deweloperem poprzedniej epoki. Teraz jest deweloperem nie tylko jutra, ale już deweloperem pojutrze. I słuchajcie, on właśnie chciał przygotować case’a, gdzie pokazał, jak łatwo teraz odtworzyć system w różnych językach, że to w ogóle nie ma znaczenia i że one shot’em możemy tego typu akcje realizować. Chcąc właśnie ludziom udowodnić, że już to czytanie kodu nie ma najmniejszego sensu i że już mamy taką pełną możliwość portowania się pomiędzy różnymi technologiami, a nie do końca wcale tak jest. Ta część też bardzo często deklaruje, że nie znosi ani czytać, ani pisać kodu w Ruście. A jak wiemy, Rust jest w ogóle the ultimate językiem programowania, przynajmniej w tym roku. Taka jest obecnie moda. Każdy powinien w Ruście pisać wszystko, co się da, bo oczywiście najlepsza wydajność. Szybko i bezpiecznie. Co prawda nie da się tego czytać ani w tym pisać. Ale jest to dość język wymagający i nieprzyjemny dla większości osób. No i tak się składa, że ten test był dość problematyczny, co zauważył Piotr Sarnacki, który popełnił fajną analizę na swoim blogu, zajrzał do tego kodu i zauważył, że samo to porównanie było bezrzuteczne od całego początku. Porównywaliśmy jabłka do pomarańczy, tak naprawdę pomijając to, co najistotniejsze. Czyli czy te systemy w ogóle są do siebie podobne, czy nie mają istotnych ukrytych wad. A tak się składa, że właśnie tak było. Jeżeli zrobimy prostego prompta, prostego skilla, który ma zrealizować na nas jakieś zadanie, no to siłą rzeczy musimy liczyć się z tym, że część decyzji zostanie podjętych przez agenta. Dlatego też tak często odbijam podejście, że skille są niepotrzebne, że proces planowania jest niepotrzebny, bo przecież możemy tylko poznawać z agentami. Zrób mi Campfire, gotowe. Ewentualnie napiszmy mu kolorek niebieski, albo niech szybko działa. Wiele osób gdzieś tam sprzedaje taką wizję, no bo ci agenci są teraz tacy omnipotentni, więc wszystko zrobią lepiej od nas. To jest w ogóle też podbijane od strony labów, które to wystawiają nowe wersje modeli, gdzie tam devrelowcy piszą, że po prostu nie wkłada już tyle wysiłków w to specyfikowanie środowiska, bo rzeczy dzieją. No a tak się składa, że my tutaj twardo stoimy, że jednak trzeba planować, że trzeba tę decyzję świadomie podejmować i trzeba też tak sterować modelem, żeby on nam tę decyzyjność oddawał. I to fajnie wyszło właśnie w tym porównaniu Piotra Sarnackiego, który słusznie zauważył, że wiele decyzji nie ma jednej słusznej odpowiedzi i zależy mocno od produktu. Na przykład, czy zachowujemy kompatybilność wsteczną z dotychczasowym klientem naszej aplikacji? Nie ma tutaj jasnej odpowiedzi, co jest podejściem właściwym. Jedno i drugie niesie ze sobą określone konsekwencje. Następnie, co jest dla nas ważniejsze w systemie? Czy może czas odpowiedzi, czy jego przepustowość? Również nie ma jednoznacznej odpowiedzi na to, co jest istotne. Ile pamięci możemy złożyć pod obciążeniem? To również zależy od tego, jakie mamy maszyny, jaki mamy budżet i jakie mamy największe obciążenie. Jeżeli wystąpi jakaś awaria, to czy godzimy się na stratę danych? W niektórych systemach możemy się na to zgodzić, np. wymagając retry po stronie użytkownika. A jeżeli mamy system krytyczny, który zarządza np. zdrowiem, to wolibyśmy pewnie, żeby jakieś dane nie znikały z tego systemu i dokładamy dodatkową złożoność, aby coś takiego obsłużyć. Nie ma oczywistych odpowiedzi tak, nie na tego typu pytania. Jeżeli my po prostu powiemy agentowi, napisz mi systemik, to wszystkie tego typu decyzje, a jest ich ogrom, zostaną podjęte za nas. No i teraz to wyszło również właśnie w tych kopiach Campfire’a. Mieliśmy wersję w Ruście, która wycięła sobie token CSRF, no bo w ten sposób łatwiej było jej cache’ować odpowiedzi. No i również zamieniła Redisa z oryginalnej wersji w kolejkę na poziomie pamięci procesu. Następnie mieliśmy wersję w Elixirze, która była bliższa tej oryginalnej architekturze, no ale również nie działała w sposób idealny. Tak więc możemy sobie porównywać, co lepsze, Rust czy Elixir. Takie też porównanie było dokonywane przez DHH, mówiąc, że tutaj Rust rządzi. Tylko tak się składa, że Elixir jakkolwiek działał zgodnie z założeniami, a w przypadku Rusta w tej pierwotnej wersji no nie bardzo. Weźmy może jeszcze bardziej szczegóły, co tam się ujawniło w tych szczegółach implementacyjnych, które pewnie doświadczony programista szybko by zauważył.
Tak, no myślę, że żeby to zrozumieć to najlepiej wyjść od końca, czyli od tej interpretacji tych wyników, którą to wiele osób realizuje w zgodzie z własnymi wyobrażeniami odnośnie najlepszych języków i najlepszych technologii. Jednym z takich kontekstów jest oczywiście dyskusja o tym, gdzie szybciej, gdzie lepiej, gdzie bardziej intensywnie rzeczy się dzieją. Okazuje się, że te wnioski, które tutaj wyciągnięto po tej migracji, że ten język był właśnie gorszy, no po prostu nie mogą być w ten sposób prezentowane. Tutaj akurat Claude też przygotował dla mnie taką interpretację tej analizy, bo ja przyznam, że nie jestem ekspertem ani w Ruście, ani w Elixirze, ale przytoczymy to dla Was, żeby właśnie pokazać na jak wielu elementach tutaj można się wywalić. Więc w Ruście współbieżność może być, jak my nie mamy, w wielu różnych technologiach realizowana na wiele różnych sposobów, natomiast tutaj w tej implementacji takiej one-shot część operacji na bazie była blokującymi wywołaniami, nawet wewnątrz zadań async, czyli wydawało nam się, że robimy coś nieblokującego, a tutaj i tak mieliśmy te operacje blokujące. loków, czego nie było w tej referencyjnej implementacji, więc na to blokowanie tak naprawdę się zgodziliśmy, powiedzmy, akcydentalnie, dokładnie tak, zgodziliśmy się w zasadzie nie mieliśmy nawet okazji się zgodzić, ona się po prostu pojawiła. Podobne problemy były w Elixirze, tutaj akurat wszystkie zapytania SQL szły sekwencyjnie przez jeden proces, nawet jak mogliśmy coś zrównoleglić, na przykład odczyty, które mogły działać niezależnie, to to się po prostu nie działo, więc widać, że ta architektura była po prostu, nie wiem, naiwna można powiedzieć, jakby taka właśnie wylosowana w jakimś tam, w jakimś tam kasynie, nie była na pewno 1 do 1 podobna do tego, co było w tej implementacji referencyjnej, no i to niestety zaczęło być interpretowane na wiele różnych sposobów, nawet same te benchmarki, które gdzieś tam porównywały te rozwiązania, no okazały się nie do końca dobre i tutaj znowu ten nasz husarz Piotr, o którym wspominamy, no też tutaj zchallenge’owania jakiegoś pana Zacha Daniela, kiedy tutaj było porównywane delivery powiadomień w tym systemie, gdzie to Rust miał dostarczyć przy określonym obciążeniu 1% powiadomień, a Elixir 100%, natomiast okazało się, że zupełnie inny load był generowany w tych systemach, Rust miał wtedy obsługiwać 4 razy więcej requestów, w ogóle też polityki w zależności od tej technologii są różne, te systemy pod różnym obciążeniem w każdym języku zachowują się troszkę inaczej, więc tak naprawdę to nie jest tak, że język był parametrem, a wszystko inne było takie samo, tylko naprawdę wiele polityk, które tam pod spodem były ukryte, no zostało zignorowanych.
Tak, inaczej sobie radzą te systemy przy stałym napływie, na przykład 100 requestów na sekundę, inaczej kiedy pojawiają się spajki, gdzie jest nagle bardzo dużo requestów, a potem ta liczba spada oraz jeszcze to w ogóle nie są tak naprawdę tożsame systemy, które nie działają w ten sam sposób, a te błędy, które występowały zarówno w implementacji Rusta i Elixira, no jak słusznie zauważył Piotr, to są raczej błędy, które programista będący specjalistą back-endowym zauważyłby bez większego trudu, no a jeżeli mamy podejście, że w ogóle już tego kodu nie czytamy, no to tej możliwości wyłapania tego typu problemów sobie nie damy. I też znaczne podniesienie możliwości tego systemu napisanego w Ruście również ograniczało się do naprawdę prostych zmian na poziomie stream capacity, czyli większy bufor i to już gdzieś tam zwiększało dostarczalność tych requestów z 14-90%. Taka prosta zmiana, którą znowu jako doświadczony programista Rust moglibyśmy szybko wprowadzić. Tak więc tutaj ogrom problemów takich czysto technicznych, no plus totalnie przypadkowe podejście do takich decyzji produktowych, które wcale nie zostały odtworzone wiernie względem oryginału, tylko były efektem jakiegoś losowania. No i teraz musimy znowu wrócić do tego, jak ważny jest ten osąd inżynierski i do tego, jak powinniśmy świadomie podejmować decyzje, bo nawet jeżeli mamy idealny automat do implementacji kodu, no to musimy liczyć się z tym, że część decyzji nie jest oczywista wcale.
Tak, no tutaj ogromną rolę odgrywa charakterystyka ruchu, który to dotyczy danego produktu. Możemy mieć dwie aplikacje w Elixirze, które zachowują się zupełnie inaczej, bo muszą zupełnie inny ruch gdzieś tam procesować. Możemy mieć klasyczną web-apkę, która jest np. od 8 do 16 przez księgowych obsługiwaną. Możemy mieć aplikację do streamingu, gdzie to jest jedno wydarzenie w miesiącu, jakiś mecz i wtedy wszyscy, milion subskrybentów po prostu włącza te aplikacje i tam się po prostu pali. To jest web-apka i to jest web-apka, ale ta charakterystyka ruchu po prostu wpływa na to, że zupełnie inne mechanizmy tam w środku muszą być zaszyte. Ja nawet pamiętam jedną z rozmów kwalifikacyjnych, na których kiedyś byłem, gdzie to właśnie prowadzący przekonywał mnie, dlaczego warto dołączyć, no bo sama ta charakterystyka jest tak ciekawa, że to jest jakby roadmapa sama w sobie, że my wiemy jakby czego się spodziewać. Tam była akurat właśnie taka sytuacja z tymi eventami okresowymi i tymi spike’ami, ale to nie jest tak, że my to rozwiązaliśmy. My wiemy jak to się zachowuje, wiemy, że te miliony tych subskrybentów po prostu wbijają do tej aplikacji. No i wpadaj chłopie i kminmy to po prostu. Rozwiązujmy te problemy. No mamy tutaj kilka opcji. Może być jakaś taka opcja odcinania tych klientów, którzy nie zdołali dołączyć do tej puli gdzieś tam procesowanych, taki fail fast po prostu. Nie udało ci się, nie załapałeś się tutaj na jakiś proces, spróbuj ponownie. Może być jakiś większy bufor, czyli jakieś kółeczko, jakiś loading się może tutaj pojawiać, czyli zupełnie inny user experience. Czy chcemy kogoś trzymać właśnie przy jakiejś akcji, która tam się procesuje, czy chcemy mu powiedzieć spróbuj ponownie. To w ogóle nie wynika z języka, to w ogóle nie wynika gdzieś tam z biblioteki wykorzystywanej w danym produkcie, w danym rozwiązaniu. Tylko to jest po prostu coś na styku biznesu, produktu, takiego user experience właśnie też wynika z takiego taste’u inżynierskiego i też jest poddawane analizie, bo każdy z tych metod gdzieś tam reagowania na te problemy może po prostu generować inne efekty uboczne. Jakiś tam churn, odpadanie użytkowników, jakieś tam tikety supportowe. Wydaje mi się, że to jest świetny też taki problem dla osób, które mają to zacięcie produktowe, bo można w ogóle tymi error kodami, edge case’ami po prostu wypełnić sobie backlog i tym się tak naprawdę zajmować. Bo często też właśnie z praktyki jest tak, że ten happy path szybko jest rozwiązywany, a te ciekawsze rzeczy na krawędzi żyją po prostu. To co się dzieje pod obciążeniem, to tam jest to mięsko po prostu.
Sto procent. No i też pamiętajmy o tym, jak istotne jest tworzenie benchmarków, które mają sens. Większość benchmarków sensu nie ma. Świetnym też przykładem jest taki bardziej z naszego ogródka. Było to, jak były przyrównywane frameworki front-endowe w starych dobrych czasach, czyli jak szybko renderuje się tabelki w Reakcie, Angularze, bądź też w Vue. React tam najlepiej sobie radził, więc był automatyczny wniosek, że w ogóle to jest najszybszy.
W ogóle najlepszy, nie tylko najszybszy.
Tak, tak, tak. Na podstawie tego, bo właśnie tabelki na dziesięć tysięcy wierszy najszybciej w przeglądarce wyrenderuje. Czy to jest dobry benchmark określający, czy warto korzystać z danego frameworka w naszej firmie na front-endzie? Nie wydaje mi się. Również jeżeli bardzo zależy nam na samej wydajności, to również nie daje nam właściwych informacji, czy tak faktycznie jest w tej konkretnej aplikacji, którą będziemy tworzyli. Chyba, że renderujemy dziesięć tysięcy wierszy w tabelce HTML-owej, ale nie wiem, czy takie aplikacje to są takie, które przynoszą duży zysk i które chcemy tworzyć. Tak więc pamiętajcie o tym. I też pamiętajcie o tym, jak ważna jest ta dogłębna wiedza, zrozumienie tego, co system powinien robić w przypadku back-endu. Tutaj lekcje kompatybilność, opóźnienia, przepustowość, limit pamięci. Są dobre książki. Jest taka słynna książka z dzikiem Designing Data-Intensive Applications. Cały czas warto ją przeczytać, pewnie nawet bardziej niż kiedykolwiek, bo po prostu będzie się nam przydawało w tej codziennej pracy. Nigdy wcześniej tak łatwo nie byliśmy w stanie wystawiać takich systemów, które takie problemy mają realizować. Decyzja o tym, czy wchodzimy w jakieś kolejki, czy w jakieś procesowanie synchroniczne, to wymaga zespołu i rozkmin architektonicznych. Dzisiaj można sprąptować jakąś pierwszą wersję V0, ale te konsekwencje oczywiście są po naszej stronie i trzeba z tym dealować. Więc nie wszystko się rozwiązało. W momencie, kiedy agenci się pojawili, okazuje się, ta migracja, o której DHH mówił, sporo szumu wygenerowała, ale okazało się, że diabeł tkwi w szczegółach. To pogadajmy trochę o tym, dlaczego ci agenci mają w pewnym sensie takie klapki na oczach, dlaczego nie potrafią w naszych myślach czytać. Pogadajmy trochę o tym, czego tak naprawdę nie wiemy w momencie, jak projekt startuje, albo czego agent nie wie.
Tak, jeszcze zanim przejdziemy do tego tematu, żeby ktoś właściwie nie odczytał tej części rozmowy i na wypadek tego, gdyby nie przesuwał do końca, to nie jest analiza o tym, że agenci piszą słaby kodzik. To jest analiza o tym, że agenci piszą słaby kodzik w pierwszej iteracji, zwłaszcza kiedy podejmują przypadkowe decyzje. Dużo mówiliśmy w poprzednich odcinkach o tym, jak ważne jest planowanie i że warto się do tego procesu trzymać, więc zachęcamy do nadrobienia zaległości, jeżeli tego odcinka nie słuchaliście. Tam rozumiecie, jak my podchodzimy do procesu planowania i dlaczego on wciąż jest ważny i najpewniej zawsze będzie ważny. A teraz przejdźmy do tego, właśnie na czym też polega dobre planowanie, bo trzeba uważać na jeden istotny problem, mianowicie na to, że LLM-y już nie są pilnymi stażystami. To była fajna metafora jakieś 2-3 lata temu. Teraz są pilnymi geniuszami, ale nie do końca rozumieją specyfikę naszego biznesu, naszej aplikacji i tego, jakie są koszta wprowadzania ich genialnych pomysłów na produkcję. Słuchajcie, bardzo często, z czym pewnie będziecie się spotykali coraz częściej, jak będziecie chcieli zrobić coś ambitnego z LLM-em, będzie to, że on będzie mega próbował skomplikować wasze rozwiązania. Ja już się z tym spotkałem ostatnio. Próbowałem wprowadzić synchronizację między dwoma platformami i kurczę mówię, masakra, ile rzeczy tutaj mam nieprzemyślanych. A co, jak mi odetnie internet po jednej stronie tego systemu i wiadomość się zagubi? I siedziałem przez tydzień, spaliłem sobie mózg z 5 razy, po czym właśnie sobie zdałem sprawę, kurczę, to większość tych w ogóle rozkmin była totalnie nieistotna. Kiedyś w ogóle nie miałbym czasu, żeby się nad tym zastanawiać, tylko zrobiłbym po prostu coś prostego, co działa, a tam zostałem wciągnięty przez LLM-a w jakieś rozkminy, klipy. pewnie miałyby sens, gdyby to był rozproszony system utrzymujący życie w całym szpitalu, a nie sygnalizacja kąt pomiędzy dwoma platformami edukacyjnymi.
No 100%, ja tutaj znowu z ogródka benchkitowego to widzę. Mamy rozwiązanie open source, które cały czas w semwerze ma zero kropka na samym początku. Nie jest to żadna wersja szeroko wdrożona. Nawet pomimo tego, że tam są instrukcje, jest to środowisko skalibrowane, to cały czas mam takie ogromne dbanie o tą kompatybilność wsteczną. To znaczy, ja chcę wprowadzić jakąś dużą zmianę, bo na przykład mam jakiś feedback od uczestników, coś może być prostsze, coś może być bardziej skomplikowane. Nie wiem, wychodziłem od GitHub Actions, teraz bardziej idziemy w stronę takich runnerów, po prostu teraz self-hosted. I tam cały czas agenci, czy to Codex, czy Claude Code mówią o tym zachowaniu kompatybilności wstecznej. Bo słuchaj, te dwa miliony użytkowników, które mają tego benchkita, oni nie są gotowi na to, co robisz.
Dokładnie tak.
Oni nie są gotowi na tę rewolucję, którą my tu wprowadzamy. I jak ty chcesz na przykład zejść, nie wiem, teraz taki case realizuję, z siedmiu skilli do trzech, bo chciałbym tę pętlę uprościć, to wprowadźmy sobie dokument deprecated skills i tam będziemy dokumentować wszystko, co porzuciliśmy. I nawet powiesz mu trzy razy, że nie, nie utrzymujemy tej kompatybilności, cały czas kompatybilność wsteczna.
Słuchajcie, z czego to wynika? To wynika z tego, jak modele są trenowane. O co w tym chodzi, Przemek? Na czym polega ten proces, który nam powoduje coraz więcej problemów?
No tak naprawdę model skupia się na zadowoleniu gradera. Jest jakaś taka obsesja realizowania zadania w sposób, który tutaj będzie spełniał maksymalnie dużo składowych. Gdzieś tam taki score maxing, można powiedzieć, będzie realizowany. No i tak naprawdę nie mamy takich niuansów. Ten model nie ma niuansów na etapie treningu dotyczących tego, że ja ci dam 25% tego rozwiązania, bo 75% jest pewnie nieistotnych. Ja ci dam zawsze 100%, bo za tę 100% dostanę maksa. No i to się po prostu przekłada potem na taką codzienność korzystania z tych agentów.
Jeszcze to, czym jest ta 100%, widać, jak z biegiem czasu ta poprzeczka jest podnoszona. Te laboratoria najpewniej cały czas rozszerzają te gradery i mają coraz większe oczekiwania wobec tych modeli, wobec tych agentów. Przez co one są coraz bardziej wyszukane. No bo są, to przyznajemy. Oczywiście, ich poziom intelektu, zdolności implementowania w wysoce złożonych systemach rośnie. Co najpewniej właśnie wynika z tego, że te gradery, które służą do treningu, są coraz lepsze i te firmy sprawdzają coraz więcej czynników i do nich dotrenowują. No ale to cały czas sprawia, że musimy bardziej się chronić przed tym, jak te niepotrzebne wymagania wkładają się do naszych systemów.
Mamy tutaj też taki efekt tej regresji do średniej, który już był wcześniej. Zwykle to jest uśrednione w jakiś sposób. Teraz to będzie uśrednione do maksa tego score. Będzie to sprowadzane najczęściej do tego max score. Z codziennej pracy, no wiadomo, że nie każdy feature, który implementujemy, takiego maksa gdzieś tam musi realizować, musi reprezentować z kilku różnych powodów. Pogadamy o tym. Produkty są na zupełnie innym etapie dojrzałości. Inna liczba użytkowników, jakość, którą chcemy tutaj oferować itd., itd. Czym innym jest startup, czym innym jest enterprise. Zupełnie inne środowiska.
100%. No i teraz na co warto uważać? Warto uważać na takie best practices w waszej technologii, w waszym języku. Tutaj bazujemy też na analizie Seana Goedecke’ego. Mam nadzieję, że dobrze przeczytałem to nazwisko. On dużo programuje w Go i mówi, że jest nadprodukcja mutexów, które są często wykorzystywane w Go i ogólnie uznawane za dobrze, ale kod w AI tych mutexów zwykle dodaje za dużo. Następnie jest takie sprawdzanie, czy to na pewno dotarło. Czy nie mamy jakiegoś race condition. Defensive programming. No bardzo, ale po prostu już do skrajnych możliwości. Też już kilka razy od tego odbiłem, więc naprawdę trzeba na to uważać, czy nasze rozwiązanie nie jest specjalnie defensywne. I nie dajcie się zwariować LLM-om, bo one często wam sprzedadzą to w taki sposób, że no kurczę, chyba jednak powinieneś. Nie dość, że czujesz, że byłeś leszczem jako programista, bo nigdy tego nie robiłeś. No to jeszcze tak brzmi bardzo racjonalnie. A potem PR, który mógł mieć 1000 linijek ma ich 15000 i mówisz fuck.
No dokładnie tak. Scenariusze z kosmosu też tutaj mamy zanotowane. Co jeśli ktoś straci uprawnienie administratora, zabraknie prądu, wejdziesz w trakcie wykonywania calla, stracisz kurczę baterię, komputer się zacznie wyłączać. Potrzebujemy jedynie 13 modyfikacji na każdym etapie po prostu potestowania tego zapytania. Genialny pomysł.
Dokładnie tak. Jakieś przechowywanie stanu, on musi być w pięciu miejscach przechowywany. No masa tego jest. Jak się popracuje z tymi modelami, szczególnie Frontier, z tymi agentami Frontier, to widać, że oni robią dużo więcej niż tak naprawdę często by człowiek potrzebował. Nam też się zdarza wpuszczać, żeby nie było na produkcję takie nadmiarowe zmiany.
100%.
Też się tego uczymy, no ale uwrażliwiamy, bo ten akurat przypadek DHH-a był głośny. Sporo osób na niego spojrzało. No a tutaj jeszcze przy okazji staramy się zrozumieć jak właśnie te fundamenty treningu to wszystko powodują.
Tak, no i znowu wracamy do tego tematu inżynierskiego osądu. To my musimy rozumieć czego nasz system, nasz biznes, dla którego pracujemy potrzebuje. I to jest na poziomie zarówno pozytywnym, czyli tego co ma zostać wprowadzone, ale też co ma nie zostać wprowadzone. Bo wszelkiego rodzaju istotne luki w tym zakresie zostaną wypełnione przez LLM-a albo w sposób automatyczny, albo w sposób perfidny podczas planowania zostanie nam podsunięte. A co z tym panie kolego? No tak, tak. I nie można dać się tutaj zwieść temu pozornemu geniuszowi, który potem będzie nas kosztował droższe code review, pewnie na poziomie tego, że będzie tak dużo linijek, że nikt tego dobrze nie sprawdzi. No i też utrzymanie, przypadkowa złożoność itd., itd.
A jeszcze co gorsze jak np. kontekstu nie przechowujesz. I kolejna zmiana bierze to pod uwagę, jak taki fakt zostanie.
Tak, po co kontekst, po co plan, po co specyfikacja. No tak możesz przecież zobaczyć, aha, no jakby ktoś tam po prostu wprowadzał tradycję z tą specyfikacją, tam tego w ogóle nie było. Accidental, nieprzypadkowa złożoność itd., itd. Dlatego to jest takie bardzo ważne, żeby ten kontekst przechowywać, archiwizować w ramach repozytoriów, bo to nam pozwoli zrozumieć, czy to jest przypadkowe, czy to już nie jest przypadkowe, albo w ogóle z czego to wszystko wynika.
Słuchajcie, też jest dużo przykładów tego, że właśnie warto pamiętać o tym, że to nie musimy dążyć do ideału, wiele systemów świadomie tego ideału nie realizuje. Przemek, jakie mamy fajne takie przykłady?
Tak, no mamy tutaj zamontowanego chociażby Unicorna, serwer aplikacji Ruby, który świadomie ignoruje problem wolnych klientów, tak, żeby kolejkować requesty bezpośrednio na socketach Uniksa. Mamy S3-kę AWS-ową, która nie wspiera atomowych aktualizacji wielu kluczy naraz, w zamian łatwiej się skaluje takich batchy po prostu. Tam nie ma SQLite’a, rezygnuje ze współbieżnych zapisów, na rzecz prostoty jeden plik, prawie zero operacji. No i tutaj właśnie Goedecke, jak to powiedzieliśmy, któraś z tych opcji wspomina, że właśnie dobrze zaprojektowane systemy zmieniają swoje słabości w siły. Ja sobie myślę, że w ogóle też takie praktyki, jak na przykład ADR-y i tak dalej, na swoją moc też czerpią z tego, że tam zawsze jest to non-goal, czego my nie robimy. Pokazuje to, że ok, grupa ludzi przedyskutowała jakiś temat, ale stwierdziła, że w ogóle nie idziemy w to, nie potrzebujemy, nie jest to jakoś taka przewaga konkurencyjna. I z tego też wynika jakaś taka ciągłość, ciągłość uczenia się też w ramach jakiegoś projektu, czego nie robimy, gdzie są te, powiedzmy, kierunki, co do których nie zmierzamy, bo nie chcemy tam zasobów przeznaczać i tak dalej, i tak dalej. O tym ta dyskusja tak naprawdę jest.
No, Maxa, pamiętajcie, że w przypadku każdego z tych systemów, o których Przemek mówił jako przykładzie tego, że coś świadomie działa może nieperfekcyjnie, LLM będzie Wam próbował wcisnąć, żeby zrobić jedno i drugie i zawsze na tym w jakiś sposób, zawsze płacimy cenę. Więc bądźmy świadomi tego, że wszystko swoją cenę ma i pewnie warto mieć prostszy system, który realizuje cele, niż dokładać sobie poprzeczek, przez który w ogóle nie chcemy przeskakiwać.
Tu mi w głowie się pojawił ten skill grill PM, który chłopaki z AI Product Heroes pokazywali na live, którego zresztą realizowaliśmy wspólnie, gdzie to właśnie grillujesz kogoś, kto przynosi wymagania pod kątem tego nie tylko, co tam jest, co się nie spina, ale czego tam nie ma, w którą stronę idziemy, w którą stronę nie idziemy. Też jest ten pattern Definition of Ready. O ile Definition of Done bardziej kojarzy się właśnie z Code Review, to Definition of Ready też jest tutaj istotne. Czy my w ogóle podejmujemy się tego zadania, czy tam jest napisane, czego nie robić. I to znowu nie ma zależeć od motywacji tego, czy prawą, czy lewą nogą wstaniesz, tylko każdy, kto podejmuje zadanie w tym projekcie ma sprawdzić. Okej, a wiadomo, czego nie robimy? Bo jak nie wiadomo i mam robić wszystko, to pewnie jest 100 kierunków, gdzie mogę zrobić coś nadmiarowego i ten jeden taki optymalny, który może się wylosować, mogę tam iść, ale wcale też nie muszę.
No i też trzeba wejść trochę w rolę takiego strażnika złożoności. Zasada pięciu dlaczego, a po co tego potrzebujemy, a na pewno, bo ktoś do was przyjdzie, LLM mu gdzieś tam wykuje bardzo fajną wytłumaczenie, dlaczego to wszystko jest potrzebne.
Jeszcze zdalnie, jeszcze jak się nie widzicie na żywo. Stop grenade, pójdzie cyk.
No i trzeba gdzieś tam zapytać, a do czego? A do czego? Trochę trzeba być takim upierdliwym gościem, bo to teraz, no znowu, za to będą nam płacili. Albo część ludzi nie zapłaci i potem będzie miało dużo trapaty. A jeżeli chcemy być cały czas dobrymi inżynierami, którzy wnoszą niesamowitą wartość, większą niż LLM, to nie ścigajmy się na pisanie kodziku, tylko na podejmowanie decyzji, co jest do zbudowania.
Taka obserwacja, dosłownie, niż dzisiaj, miałem tę przyjemność albo nieprzyjemność. Gdzieś tam stworzenia wpisu na LinkedInie, który wybuchł, który całkiem sporo gdzieś tam reakcji zazabrał i komentarzy i jak widzę właśnie ile osób na takich stanowiskach, no nawet nie C-level, ale właśnie egzekwów, menadżerów średniego szczebla używa LLM-ów do odpisania, do podzielania się jakąś prostą refleksją, to aż no zęby bolą, bo wydaje mi się, nie wiem, ja sobie to wyobrażam, że na przykład jest jakiś wpis, ktoś pisze, hej, ChatGPT, co ty na to? I to są obserwacje pod tytułem masz rację, świetne obserwacje.
No nie bądźmy mid-proxy, oczywiście my z LLM-ów korzystamy, wspierają nas w procesie pisania, ale nie gdzieś tam w procesie myślenia i formułowania.
Właśnie chodzi mi o ten kontrast między stanowiskiem wysokim, które zajmujesz, a tym ile ty wysiłku wkładasz. Znowu można wrócić do tego, że nie będzie konkurencji jak wszyscy zaczną z LLM-ów korzystać, bo tylko ten kto będzie krytyczną analizę wykonywał.
Myślenie cały czas jest w cenie, oczywiście LLM-y mogą nas wspierać tym procesie myślenia, ale to my powinniśmy być u rdzenia tego procesu, więc to jest mega istotne. Pamiętajcie już o waszych specyfikacjach, waszych skillach, czy innych metodach tego jak się z agentami komunikujecie. Była ta sekcja czego nie wymagamy, czego nie robimy i jak najwięcej informacji tam również jest istotne.
Jakiś przykład a propos tego czego można nie robić w typowej web-apce, albo z notatek, albo z tego na co my się tam decydowaliśmy?
Na przykład tego, że dane w naszym systemie mogą być nieaktualne w ogóle, albo przez jakiś dłuższy okres czasu jeżeli to nie jest aplikacja krytyczna. Że na przykład nie musimy zapewniać współbieżności w każdym systemie, bo na przykład ostatni zapis może wygrać, jakoś to przeżyjemy w naszej krudowej apce, na przykład do zgłaszania komentarzy do lekcji. Że nie trzeba zachowywać kompatybilności do API, z którego korzystam tylko ja i mój kolega. Wystarczy powiedzieć, oj stary tu jest ten nowy endpoint, przejdźcie się na to.
Dokładnie tak.
Kolejny temat, to właśnie również istotne z punktu widzenia czym jako inżynierowie możemy się zajmować, jeżeli nie zajmujemy się pisaniem kodziku do naszych buttonów, bądź restowych endpointów API. Weryfikacja, o tym ostatnio dużo się mówi, mówi o tym również Addy Osmani, kolejny mój kolega z Google I/O.
Ex-Google, obecnie Anthropic, Claude Code.
Słuchajcie, on wskazuje na to, jak ważna jest ta pętla weryfikacji właśnie i że często ona wnosi więcej niż lepszy model, lepszy harness, no bo daje te oczy, te ręce, które są niezbędne, aby coś w rzeczywistości dowozić, nawet jeżeli jest to rzeczywistość cyfrowa. Czyli chodzi o wiedzę, że kod, który wdrażamy jest poprawny, a tak naprawdę, że poprawny nie jest, bo to jest wartościowa informacja na poziomie weryfikacji, bo wtedy wiemy, że coś jest jeszcze do poprawy. Tak więc bardzo, bardzo istotne w dzisiejszych czasach, coś czego często nie robiliśmy w przeszłości, bo nie było na to czasu, zasobów, a teraz może się okazać kluczową odpowiedzialnością, zadaniem programisty. Testy, benchmarki, specyfikacje, dobre testy end to endowe, można to tworzyć, warto to tworzyć, oczywiście współpracując z agentem, ale na poziomie projektu, no to my jako ludzie jesteśmy tutaj kluczowi.
Tak, tutaj są właśnie takie łatwo osiągalne wymiary, które wcześniej nie były oczywiste, jak np. jakiś tam rozmiar bundla, bo pierwszy taki przykład mi przychodzi do głowy, platforma, na której coś się buduje, czy to się buduje na wszystkich platformach, w ogóle jakieś autodiscovery nowych scenariuszy środowiskowych, które się mogą pojawić, to wszystko co robisz np. w CLI, np. jakieś takie adversarial code review, czyli np. szukaj mi tu dziur, gdzie to się może wywalić, gdzie to może wyciec i teraz zróbmy wszystko, żeby to się po prostu nie wydarzyło. To jest też taka trochę nowa gra, w którą gramy.
Statyczna analiza, lintery, bardzo można teraz zaszaleć, zrobić dużo reguł, które sprawdzają kod bardzo szczegółowo. Kiedyś nie chcieliśmy tego robić, bo poprawianie tego wszystkiego było upierdliwe, teraz możemy bardzo podnieść tutaj poprzeczkę, włączyć error w wielu miejscach, tak żeby wycisnąć z tego kodu, który pisze agent absolutne maksimum, bo jakby koszt jest niski. Agent szybko będzie iterował przez te errory, czego my wcześniej nie chcieliśmy robić, bo byliśmy słabi z TypeScripta.
No dokładnie, tutaj mówiąc o tych pętlach, też Anthropic ostatnio podzielił się takim wpisem, a propos tego jak oni np. frontend optymalizują, gdzie tam mówią, że bardzo ważny jest ten właśnie end goal, że tak naprawdę te detale, które czasami są istotne, czasami aż tak bardzo istotne nie są, bo też występuje ten taki efekt hill climbingu. Czyli jak damy fajny north star pod tytułem zadbaj mi o to, żeby strona się ładowała poniżej 300 milisekund, pół sekundy albo dowolnego innego tutaj wskaźnika, zapewnimy środowisko, gdzie można te kolejne runy przeprowadzać, gdzie to się odkłada, gdzie jakiś taki efekt takiej nauki po czasie występuje, to naprawdę ten slash goal naprawdę fajne efekty dzisiaj przynosi. I to jest tak naprawdę jeszcze w połączeniu z jakimś agentem w chmurze, takie samo optymalizujące się pudełko, gdzie tak naprawdę wskazujemy na jakiś fragment naszego projektu, mamy właśnie te wskaźniki, te miary, które są super istotne, które też wynikają z jakiegoś takiego taste’u, takiego wyczucia tego inżyniera, co trzeba optymalizować. I tam akurat jest ten efekt slash goal enter, tak naprawdę to nie jest tak, że my musimy siedzieć przy tym modelu i mówić dobra teraz ten przycisk sprawdźmy go, w sensie dajemy ten końcowy cel i rzeczy się dzieją, tutaj akurat bardzo korzystamy z tego, że te sesje działania agentów się wydłużają i akurat w takim kontekście też można z tego korzystać.
100%, no i też musimy obserwować co ci agenci robią dobrze, co robią się na przestrzeni czasu i dodawać te kolejne metody automatycznej weryfikacji, na przykład czy trzyma się design systemu, możemy również to interim ograć, czy te wszystkie w ogóle wystawiane do człowieka akcje faktycznie funkcjonują. Jakiś test end to end, który nam się przeklikuje przez tę aplikację, przez to główne flow, więc jeżeli tak nie będzie, jeżeli coś pójdzie nie tak, no to znowu dostosujemy tą metodę weryfikacji tak, żebyśmy my jako ludzie mieli więcej informacji na temat tego co nas interesuje. Można powiedzieć, no ale kurcze w ten sposób stracę pracę. W krótkim terminie jeżeli znowu się optymalizujemy na to, żeby jak najbardziej się zapierać, to być może to jest skuteczna technika, tylko prędzej czy później ludzie się skapną, że to nie jest do końca produktywne podejście. Więc pytanie czy jesteśmy osobą, która wprowadza problemy i takim rebeliantem trochę w firmie. Nie wiem czy to jest dobre, zakładamy, że nasz manager, nasz szef jest nie do końca świadomy tego co się dzieje. Wydaje mi się, że prędzej czy później sobie zda sprawę i my nie dość, że będziemy słabi w pracy inżyniera taką jaka jest teraz, no bo robiliśmy wszystko tylko żeby nie uczyć się tego co trzeba i nie wnosić wartości. Po prostu wylądujemy na bezrobociu. Jedyne co będziemy mogli sobie wpisać na LinkedInie to to, że znamy Vue 2.5 sprzed 5 lat, a nie mamy w ogóle pojęcia o tym jak się gdzieś tam obecnie dowozi kod na produkcję. Szczerze mówiąc dość dużo widzę ludzi, którzy mają open to work, piszą o wielu rzeczach, tylko nie o tym co obecnie ma znaczenie i trochę współczuję. Więc warto wydaje mi się przestawić trochę naszą koncentrację na rzeczy, które będą brane pod uwagę dzisiaj i jutro. Oczywiście znajomość różnych technologii jest wartościowa, ale znajomość tych tematów o których mówiliśmy dzisiaj bądź w poprzednim odcinku ma teraz mega znaczenie i myślę, że coraz więcej firm będzie fokusowało się przede wszystkim na tym.
Tutaj wydaje mi się, że to co jest problematyczne, a co może być interpretowane trochę łatwiej to jest onboarding agenta i to tworzenie tych środowisk dla agentów. Bo o ile myślimy o tym, że początkująca osoba dołącza do zespołu i mamy jej zrobić dobrze w codzienności zawodowej to to się łatwo przyjmuje przez programistę. Nawet się mówi, że jak szukasz okazji na to żeby iść w górę szczebelków korporacyjnych czy kariery to pomagaj tym początkującym. Trzeba się gdzieś tam pogodzić z tym, że dzisiaj tymi początkującymi są agenci, którzy mają po prostu duży potencjał, ale to środowisko jest jeszcze nie kompatybilne z tym jak oni działają i naprawdę można iść w górę pomagając tym agentom w pracy, po prostu odblokowując te wszystkie procesy. To chyba nie padło w ostatnim odcinku, gdzie mówiliśmy właśnie o tych zmianach w środowisku pracy, ale Anthropic o tym mówi, że liczba zmian albo ogólnie taki fokus, który dotyczył wcześniej pracy na infrastrukturze dla agentów zmienił się z 10 na 22%. Czyli praktycznie 1 czwarta tego czym się programista zajmuje to jest odblokowywanie agentów i teraz być może na poziomie jakości tych elementów o których mówiliśmy nie wszystko już będziemy dłubać property po property, ale całościowo jak tych agentów odblokowujesz to robota się otwiera dla Ciebie, praca się dla Ciebie otwiera. Znowu trzeba się pogodzić z tym, że to już nie ja koduję tylko jakiś tam agent koduje, jakiś tam Claude Code czy OpenCode, Claude Code bo ostatnio ktoś powiedział, że cały czas o chmurowym Cloudzie mówię, więc Claude Code raczej, ale kurde no jest co robić. Wydaje mi się, że jak się pogada z szefem a propos tego, że można coś odblokować, rzeczy się mogą dziać szybciej, wdrożmy tych agentów, mało który szef powie, że kurde nie no to róbmy po staremu.
Tak i jak zapewniać te metody weryfikacji? No raz jeszcze nie trzeba wcale wynajdywać koła na nowo, przez 23 lat już wiele narzędzi i technik skutecznie weryfikacji kodu zostało wymyślonych. Wszelkiego rodzaju testy automatyczne, end-to-endowe, jednostkowe, integracyjne. Ich różne, bardziej szczegółowe rodzaje, property-based testing, tutaj Addy Osmani wskazuje, czyli bardzo dużo losowych wejść wprowadzamy i sprawdzamy, jak się system zachowuje. Testy mutacyjne, czyli wprowadzamy jakiś kod, dodajemy test, psujemy ten kod, sprawdzamy, czy test wywalił się razem z tym zmienionym kodem. Jeżeli nie, to test jest słaby, powinien powstać inny, albo kod wcale nie realizuje tego celu, który chcieliśmy. To są te stare, dobre książki, które rzekomo wszyscy czytali i zawsze chcieli je stosować. Większość ludzi nie czytała, ani nie stosowała. Teraz znowu jest okazja, żeby pokazać to nasze zamiłowanie do inżynierii. Nadrobić zaległości, jeżeli mamy. Dowiedzieć się, jak można super kod weryfikować. I mieć radość z tego, że tworzymy system wysokiej jakości, wysokiej stabilności. I to wydaje mi się, że znowu jest job security one-on-one w dzisiejszych czasach.
Tak, a propos testów, to chyba to jeszcze nie padło, a paść powinno. Wydaje mi się, że sam coverage też jest istotny. Że to jest taka pułapka, na którą tutaj można wpaść, gdyż mówimy o tych różnych pętlach, o tych czynnikach, które tutaj mają jakość zapewniać. Naprawdę zajebiście łatwo osiągnąć 100% coverage znowu z agentami. Łatwo pisać testy, które potwierdzają, że to, co zostało napisane, działa. Ale zdecydowanie trudniej testować to, co naprawdę ma sens. Na przykład my w 10x testach wychodzimy, to jest też…
100% coverage nadal może nasz system mieć wiele ryzyk, które nie są pokryte testy. Podatne, wrażliwe.
Tak, bo to z tego sprawdzamy, czy linie są pokryte jakimś tam testem, a nie czy on w ogóle sprawdza to, co powinno być sprawdzone. Tak, więc taka technika, którą ja też kiedyś zauważyłem, nauczyłem się od mądrzejszych od siebie, no raczej na ryzykach pracujemy. Zastanawiamy się, co robi użytkownik w naszej aplikacji, co się może wywalić i powiedzmy, będą z tego ogromne konsekwencje, a co się może wywalić i nie wiem, z piątku na poniedziałek mogę to naprawić i nie będzie z tego żadnego pożaru. To są właśnie te ryzyka, które wychodzą w takim audycie nieskupionym na testach.
Tak, no i jakby zbieżność pomiędzy coverage’em, a testowaniem tego, co należy, może być bardzo, bardzo mała. I to również nie jest wniosek ze świata AI, ze świata agentów, tylko to jest wniosek, które wiele firm odkryło na długo przed agentami, a wiele firm optymalizowało się pod tą metrykę i 8% coverage’u musieliśmy mieć, bo inaczej w ogóle nie można PR-a wystawić. To nie miało sensu 10 lat temu, również obecnie nie ma już najmniejszego sensu. Nie o to gdzieś tam tak naprawdę chodzi. Musimy zrozumieć znowu, myśląc od podstawowych zasad, tak jak ostatnio mówiliśmy o tym, po co robiliśmy code review? No to po co testujemy? Nie po to, żeby mieć 8% coverage’u, tylko żeby nasz system działał i był bezpieczny.
100%. A tak się zastanawiam, jak to może wyglądać na przykład w większych firmach. Powiedzmy, że w większych firmach, czy firmach, w których nie masz kontaktu z użytkownikiem końcowym, z odbiorcą tej twojej pracy. Jak ten deweloper ma sobie wyobrazić, gdzie są te ryzyka tak naprawdę, wydaje mi się. Tak się zastanawiam, co on powinien zrobić, żeby skumać, że tak naprawdę domykanie ticketów i pisanie testów na to, to może nie być tak naprawdę ten end goal. Trochę ten znowu grill PM taki mi się wydaje. Talk to your people.
Tak właśnie, talk to your people. To też była iluzja tego, że my wykonujemy jakąś realną inżynierską pracę, kiedy braliśmy tickety, których nie rozumieliśmy, dowoziliśmy nawet idealny kod odzwierciedlający tego ticketa, puszczaliśmy to na proda i mieliśmy poczucie, że jesteśmy inżynierami.
Gituwa.
Gituwa w praktyce i w teorii. Nie o to chodzi, trzeba właśnie zrozumieć, trzeba rozmawiać z zespołem, z tym gdzieś tam znienawidzonym biznesem. Teraz po prostu nie mamy wyboru. I znowu w zeszłym tygodniu ktoś napisał, że to kurczę nie będzie tak ważne. Ja nie wiem.
Niewątpliwie. Zawsze lubię mówić na takie take’i, że czas będzie najlepszym sędzią. Póki co ten sędzia wydaje mi się nam sprzyja, aczkolwiek wiadomo, zobaczymy jak to dalej wszystko się potoczy.
Więc słuchajcie, wiele osób ma wątpliwości, obawy, czy w ogóle będzie praca dla programistów, dla inżynierów oprogramowania. Na co można stawiać gdzieś tam swoje żetony w dzisiejszych czasach w Przemek?
Na pewno taki ogólnie rozumiany taste. To, żeby rozumieć właśnie granice tego, co robimy. Co jest potrzebne, co jest niepotrzebne. Z czego tak naprawdę korzysta użytkownik. Gdzie on ma tą wartość, z czego nie korzysta. Mówiliśmy o budowaniu tej infrastruktury, więc to na pewno jest taka roadmapa, która się będzie rozwijać. Słyszymy to w wielu firmach, że te core team’y AI’owe powstają. Powstają jakieś takie laby, które tak naprawdę w dwie, trzy, cztery osoby starają się zdefiniować tak naprawdę procesy na nowo. Trade off’y i też failure mode’y, tryby awarii. To jest mega ważne. Żeby w ogóle się tego dowiedzieć, to musimy wyjść poza ten happy path. Musimy przestać akceptować takie tickety pod tytułem zrób to, tu jest design, tu jest to copy i ten przycisk jak klikniesz, to się coś wyśle. Fajne, jak byłeś juniorem, ale jak jesteś takim mid’em, to już nie bardzo. Trzeba sobie budować taki nawyk jakby challenge’owania tych wszystkich wymagań. I zakładanie, że po prostu coś pójdzie nie tak. Szczególnie jak pracujemy w systemach rozproszonych. Systemach, które nie są zawsze dostępne. Gdzie serwer i klient jest na przykład rozdzielony. Nie zawsze ten klient ten serwer będzie widział. Nie zawsze ten serwer będzie tak dostępny dla tego klienta jak nam się wydaje. Na przykład korzystając z webowego ChatGPT albo Claude’a. Dobrze widać jak Ameryka wstaje, jak się korzysta z tych aplikacji. No i budowanie właśnie tych pętli, które dają nam dowody. Myślę, że to jest super ważne. Jak sobie powiemy, udowodnimy naszemu szefowi, że zobacz, waliło się co środę i piątek, a teraz się wali jeden piątek w miesiącu na przykład. No i też bycie częścią tej odpowiedzi na pytanie, tego szukania odpowiedzi na pytanie, co w ogóle jest do zbudowania, co my potrzebujemy i nie czekanie na gotową specyfikację, na gotową odpowiedź, tą najważniejszą obecnie. Czyli bycie częścią tego procesu. My jako programiści mamy bardzo duże zrozumienie tego, jak działa technologia, jak powinna działać, co lubią użytkownicy, czego nie lubią. Więc możemy być naprawdę wartościową częścią tego procesu i świetnym partnerem do rozmowy dla product managera, project managera, biznesu. No już w zależności od firmy designera naprawdę dużo możemy do tego wszystkiego procesu wnieść, bo siedzimy w tych aplikacjach. Najpewniej najwięcej z tych wymienionych grup, albo co najmniej tyle samo. Więc naprawdę jesteśmy partnerami do dyskusji. Korzystajmy z tej naszej wiedzy, z tych naszych intuicji.
No to jest to słynne myślenie produktowe, które podobno jest bullshitem. Jeff Bezos sądzi inaczej, wiele osób też inaczej sądzi. Zobaczymy, jak to wszystko będzie wyglądało. Nie nazywa się to Domain Event Design, nie nazywa się to Event Storming. Inni ludzie z tego robią szkolenia w tym kraju i chcą na tym zarobić pieniądze. Chodzi przede wszystkim o samą ideę tego, żeby być tak end to end zaangażowanym w proces dostarczania oprogramowania. A to, czy korzystamy z takiej, a nie innej techniki dochodzenia do tego celu. Bo Event Storming czy Domain Event Design również są…
Zajebiste efekty mogą przynosić.
Super i one też do tego prowadzą. To jest technika, jedna z piętnastu, które mamy do dyspozycji. Warto znać jak najwięcej, bo wtedy w właściwej sytuacji będziemy mogli skorzystać z tego, co akurat potrzebujemy.
Tak, ale to na mega ważną rzecz też zwróciłeś uwagę. Wydaje mi się, że to jest taka różnica między np. Stanami a Polską, czy tymi krajami, gdzie realizujemy raczej jakieś taski zza oceanu. Czyli jakiś taki właśnie etos inżyniera. Kim jest ten inżynier w tym zespole? Tak jak ty powiedziałeś, że sam siebie challenge’owałeś, że on może ma największą albo prawie największą wiedzę o produkcji. A on ma kurde największą, nie? On ma największą wiedzę o tym, jak ten produkt tak realnie działa. Nie mówię o produkcie tak odnośnie tego, że w kolejnym kwartale będą takie potrzeby biznesowe. On tego może nie czuć, nie? Jego szef to może czuć. Ale gdzie są jakieś szanse wynikające z tego, że taką a nie inną technologię stosujemy? Gdzie są jakieś fuck upy? Co się dzieje na jakimś monitoringu, na analityce? Ty to wiesz, nie? Ty jesteś kurde pierwszy w tej kolejce, tych ludzi, którzy to wiedzą. I wydaje mi się, że jakiś taki szacunek jakby od wewnątrz to za oceanem jest znacznie częściej spotykany, a u nas to jest cały czas takie, kurde, ja jestem tym deweloperem. My oczywiście sobie tu obraliśmy, że my jesteśmy magiem ognia, który po prostu zna wszystkie zaklęcia, składni tego jednego frameworka najlepszego do zrealizowania tego konkretnego systemu. I wokół tego się okopaliśmy. No to niestety gdzieś tam runęło w gruzach. I teraz wszyscy, co teraz? No można ogólnie stać się inżynierem oprogramowania i to otwiera ogrom fajnych możliwości i również powodu do dumy. Nawet jeżeli nie jest to to, jak nazywamy klasy w Javie.
Dokładnie tak. Słuchajcie, koniecznie zostawiajcie komentarze. Wiemy, że sporo osób zastanawia się, co dalej z tą swoją karierą, co dalej z pracą. Jeden temat, którego też nie chciałem pominąć, a też się ostatnio pojawił, no też się pojawia to pytanie, a czy mi dacie gwarancję, że to zadziała? Czy mi dacie gwarancję? Ja powiem, ja ci gwarancji nie dam. Tak jak przez całą karierę jakieś tam bety zawsze kładliśmy na ten kierunek rozwoju, tak to jest taki bet, który też teraz kładziemy na stole. Ale po prostu wydaje mi się, że ta decyzja jest raczej taka binarna w pewnym sensie. Jest część osób, które stwierdzają, że to już jest nie dla mnie, że ktoś inny koduje i tak naprawdę ja nie chcę tutaj kontynuować. To jest dobry bet. Można również taki gdzieś tam postawić. Tak, ale inny bet jest taki, że jak ty chcesz w tym IT kontynuować, to się przydaj temu szefowi. Przydaj się biznesowi, przydaj się temu silnikowi do generowania kasy z tego produktu. Może być tej kasy więcej, może ona być niższymi kosztami przynoszona do tej firmy, ale się kurczę przydaj ogólnie w tym całym procesie. I to dlaczego my stawiamy taki bet? inny, no to właśnie też rozumiemy trochę jak te LLM-y działają. Widzimy, że akurat umiejętność kodowania i przechodzenia testów na już niesamowitym poziomie niedostępna człowieka. Nikt mnie nie przekona, że jest lepszym programistą od Opusa 5.5, zwłaszcza w szeregu różnych technologii, jeżeli specyfikacja jest dobrze przygotowana, ale zdolność Opusa do zrozumienia wymagań biznesowych do rozmawiania z ludźmi cały czas nie jest zachwycająca. Jest zdecydowanie lepsza niż w przypadku GPT-4, ale przepaść pomiędzy umiejętnością kodowania GPT-4 a Opusa 5.5 jest wielokrotnie większa. Tu te postępy na poziomie tych skili miękkich, skili produktowych jest dużo, dużo mniejszy, więc stąd mamy taki, a nie inny bet. Czy gwarantujemy, że to zapewni Wam job security na kolejne 20 lat i 20 koła, nieważne czy się gdzieś tam stoi, czy się leży? Nie, ale jak na coś stawiać, to stawiamy właśnie na to. No i zresztą stawialiśmy na to nawet w czasach, kiedy tych agentów nie było, bo chyba o tym gdzieś tam naszym zdaniem ta praca była, żeby robić dobrą technologię, a kod był kiedyś gdzieś tam tym największym bottleneckiem, środkiem do tego celu. Już nie jest i możemy robić rzeczy naszym zdaniem ciekawsze. I tym akcentem zamykamy ten kolejny listopadowy już odcinek, bo to będzie opublikowane w listopadzie w nowych warunkach. Odcinek drugi realizowany tutaj w studiu Daj Głos. Dziękujemy tutaj ekipie z Katowic za przygotowanie tego materiału. Słuchajcie, zostawiajcie komentarze, zostawiajcie feedback, łapki w górę, lajki, subskrypcje, obserwacje, gwiazdki, gdziekolwiek nas słuchacie. Observability, monitoring i nasza analityka musi gdzieś tam widzieć te Wasze reakcje, ale też po prostu zupełnie szczerze, fajnie jak ta społeczność się rozwija. Sporo osób gdzieś tam daje nam taki feedback, że poruszamy tematy, które nie są wcale tak szeroko gdzieś tam poruszane. I świetnie, że o tym mówicie. Dla nas to jest też paliwo do działania. Co poniedziałek wypuszczamy newsletter Opanuj.AI. Trzy ręcznie wyselekcjonowane materiały na temat uczenia maszynowego sztucznej, inteligencji, też takie produktowo-biznesowe związane z programowaniem z AI jako taki suplement. Też zachęcamy do subskrybowania. I co? Co jeszcze byś polecił?
No, opanuj.ai.newsletter, łamane przez ai.newsletter, albo Przeprogramowani i przełamanianie newsletter. Tam również długi nasz newsletter techniczno-rozwojowy. Linki techniczne zwykle również dotyczą AI, a te rozwojowe wychodzą szerzej. I jest tam też więcej prywaty z naszej strony, więc jeżeli jesteście nią zainteresowani, również ten newsletter od razu wydajemy. Ma wielu wiernych czytelników. Podobno jest bardzo dobry, więc zachęcamy, żeby nas tam śledzić. No i dziękujemy. Do zobaczenia w kolejnym odcinku.