Czy Twoja praca przetrwa Agentów AI? Premiery Veo 3, Claude 4, Codex, Gemini Deep Think | Opanuj.AI - Maj 2025

Przemek:

Witajcie serdecznie, to jest kolejny odcinek podcastu Opanuj.ai. Witają się z Wami Przemek Smyrdek i Marcin Czarkowski.

Marcin:

Cześć.

Przemek:

Jak co miesiąc podsumowujemy dla Was najważniejsze informacje ze świata uczenia maszynowego i sztucznej inteligencji. W tym odcinku podsumowujemy maj - miesiąc, który zakończył się zaledwie kilka dni temu. Jak zwykle mamy dla Was grube newsy. Mamy też zapowiedzi nadchodzących projektów. i podsumowanie tego, co w ostatnich tygodniach mieliśmy okazję zakończyć. O czym będziemy mówić dzisiaj? Po pierwsze, postaramy się udzielić odpowiedzi na dość intrygujące pytanie, mianowicie jakim językiem właściwie powinniśmy się komunikować z modelami językowymi? Czy korzystać z potencjału języka angielskiego? Może decydować się na język polski? Jak to właściwie wygląda, jeśli chodzi o sprawność LLM-ów w udzieleniu odpowiedzi? właśnie w kontekście różnych języków, które możemy wykorzystywać. Po drugie przyjrzymy się też konferencji Google I.O., gdzie firma przedstawiała jak co roku najważniejsze technologie, najważniejsze produkty i usługi zarówno dla użytkowników indywidualnych, jak i dla biznesu. Omówimy premiery firmy Antropic, modele z rodziny Cloud4, które mają potencjał odbudować pozycję tej firmy jako lidera, modeli dla programistów, Porozmawiamy również o tzw. Async Agents, czyli o kolejnym etapie rozwoju technologii AI w kontekście programowania. Będzie m.in. o OpenAI Codex oraz Google Jewels, czyli takich dwóch najgłośniejszych agentach, które w ostatnim miesiącu ujrzały światło dzienne. No i na końcu debata o wpływie sztucznej inteligencji na rynek pracy. Prawdopodobnie nie starczy nam czasu w trakcie jednego odcinka, ale ten temat otworzymy. Jesteśmy też bardzo ciekawi, jakie Wy macie opinie w tym temacie. Korzystajcie z sekcji komentarzy i dawajcie znać nie tylko w kontekście tego ostatniego tematu, ale w kontekście wszystkiego, o czym my tutaj dzisiaj porozmawiamy. Zanim rozpoczniemy, zachęcam jak zwykle wszystkich słuchaczy do subskrypcji naszego newslettera OpenAI, gdzie co poniedziałek dzielimy się praktycznymi wskazówkami i analizami. dotyczącymi sztucznej inteligencji, w tym najnowszych modeli czy usług, z których my korzystamy i z których wy również możecie korzystać. Wchodząc na opanuj.ai możecie się zapisać. Na stronie znajduje się formularz. No i co poniedziałek, zwykle co poniedziałek rano otrzymywać od nas co najmniej trzy informacje a propos tego, co w ostatnich dniach wydarzyło się w świecie sztucznej inteligencji. Czego między innymi nie przegapicie dzięki zapisom kolejnej edycji naszego sztandarowego szkolenia, czyli 10xDevs, szkolenia poświęconego współpracy programisty i sztucznej inteligencji, tego jak wykorzystywać potencjał sztucznej inteligencji w kontekście programowania. Za nami właśnie zakończenie pierwszej edycji 10xDevs. Prawdopodobnie na LinkedIn widzieliście tak naprawdę setki absolwentów, którzy dzielili się certyfikatami, które otrzymali po zrealizowaniu projektu właśnie w pierwszej edycji 10xDevs. A przed nami już 16 czerwca kolejny event w kontekście tego programu. czyli Tenex Devs Demo Day. Będzie to wydarzenie dla całej społeczności skupionej wokół tego programu, gdzie między innymi absolwenci zaprezentują projekty realizowane w trakcie pierwszej edycji. No i my jako mentorzy, jako twórcy tego programu opowiemy więcej o tym, co szykujemy na jesień tego roku. Tak się składa, że pod koniec września, zaledwie kilka tygodni po wakacjach i urlopach startuje druga edycja, rozszerzona, ulepszona edycja, więc koniecznie dołączajcie 16 czerwca. Wtedy również uruchamiamy przedsprzedaż, dzięki której będziecie mogli zaoszczędzić kilkaset złotych. Myślę, że to jest warte Waszej uwagi. Po zapisie na newsletter o Panu AI na pewno tego nie przegapicie. No a jak zwykle, jeśli spodoba Ci się ten odcinek, prosimy o wystawienie pełnej oceny 5 na 5 gwiazdek, czy to na Spotify, czy to na Apple Podcast, czy na innych platformach streamingowych. Jeśli możesz udostępnić również ten podcast swoim znajomym, z miesiąca na miesiąc poszerzamy nasze zasięgi, trafiamy do coraz szerszego grona słuchaczy, a w dużej mierze odbywa się to poprzez wsparcie naszej społeczności, więc oceniajcie, udostępniajcie i siadajcie w fotelach, zapinajcie pasy, bo Marcin zaraz odpowie na pytanie, z jakiego języka należy korzystać, żeby z modeli językowych uzyskiwać najlepsze rezultaty. Marcin, jaka jest odpowiedź na to pytanie?

Marcin:

Powszechne przekonanie głosi, że jedynym słusznym językiem do komunikacji z LLM jest język angielski. Modele językowe korzystają z tokenizerów, które zamieniają właśnie słowa w języku naturalnym na tokeny, czyli tą podstawową jednostkę języka, jaka jest potem przetwarzana, analizowana i generowana przez LLM właśnie. I te tokenizery, one są zoptymalizowane pod język angielski. Właśnie w języku angielskim dana jednostka tekstu zawiera zazwyczaj najmniej tokenów. Stąd też takie common wisdom, że to właśnie z języka angielskiego powinniśmy korzystać, bo również na tym języku same modele będą działały w sposób najbardziej efektywny, wydajny. I to akurat już jest niewłaściwy wniosek, jak się okazało, a okazało się to dzięki badaniu One Rule to Measure All, które przeprowadziło Uniwersytet Maryland we współpracy z Microsoftem. Tak więc amerykańska uczelnia, No i jak się okazało, zwycięzcą w tym badaniu jest nic innego jak język polski właśnie, który osiągnął najlepsze wyniki, najlepszą dokładność, aż 88%. Język angielski znajdował się w tym badaniu na pozycji szóstej, a język chiński, który również ma bardzo dużą reprezentację w danych treningowych, był czwarty od końca. Więc takie bardzo zaskakujące badanie dla samych osób, które przeprowadzało je, co powiedzieli wprost w podsumowaniu tego badania. No i do końca nie wiadomo, dlaczego język polski jest najlepszy, zwłaszcza jeżeli chodzi o te zadania, które w tym badaniu były sprawdzane. O co chodzi w tego typu zadaniach? Mamy duży kontekst, mamy dużą ilość tekstu, no i zadajemy modelowi pytanie właśnie o jakiś fragment tego tekstu. W ten sposób sprawdzamy, na ile on jest w stanie ten tekst analizować i wyciągać z niego informacje, to oczywiście nie pokrywa się w stu procentach z głębokim zrozumieniem tego, o co w tym tekście chodzi, jakie są dokładnie zależności, tylko jest to po prostu wyciąganie no takiego właśnie igły ze stoku siana. Popularny sposób na sprawdzanie efektywności modeli, czy idealny, niekoniecznie, no ale w tego typu zadaniach właśnie język polski sprawdza się najlepiej. Jakie tutaj były przypuszczenia takie właśnie, że cechy strukturalne języka polskiego, cechy morfologiczne sprawiają, że język polski tak dobrze się sprawuje, bo również inne języki słowiańskie, takie jak język ukraiński, słowacki, czeski, one również miały dobre wyniki, mimo niskiej reprezentacji w danych treningowych. Wygląda na to, że właśnie języki z naszej grupy słowiańskiej dobrze przechowują ideę, bo jak się okazuje, co też dowiadujemy się z badań Antropica, modele działają nie na tokenach, samych nie na słowach, tylko bardziej na samych ideach, na koncepcjach. To właśnie tak duże modele językowe przetwarzają informacje, po prostu części sieci się aktywują i w ten sposób dochodzi do analizy i potem generowania tokenów. Wygląda na to, że język polski robi to w sposób zadziwiająco dobry. No stąd jakby wniosek, że jak najbardziej możemy z języka polskiego korzystać w takiej codziennej komunikacji. No oczywiście jest tutaj taka gwiazdka, że jeżeli komunikujemy się po API i zależy nam na minimalizowaniu kosztów, no to faktycznie język polski nie będzie najlepszym językiem i tutaj angielski faktycznie okaże się liderem. No bo musimy wiedzieć, że różnica pomiędzy polskim a angielskim jeżeli chodzi o ilość tokenów to jest około 50% więcej, więc Będziemy mieli 50% wyższe rachunki, jeżeli komunikujemy się po API w języku polskim. To już oczywiście zależy od naszych preferencji, zadania, potrzeb, skali tej komunikacji. No bo jeżeli po prostu robimy sobie rozmowę w czacie na jakieś codzienne tematy, gdzie tych tokenów i tak nie ma za dużo, to śmiało możemy po polsku rozmawiać, jeżeli kieszeń nam na to pozwala. I my zresztą właśnie stąd podjęliśmy taką decyzję w kursie Tenex Dev, że prompty i nasze przykłady tej komunikacji, które pokazujemy w kursie, były właśnie w języku polskim i osiągaliśmy jak najbardziej dobry efekt. Również w zadaniach programistycznych nie odczuliśmy jakiegoś spadku wydajności i również nikt z ponad tysiąca kursantów nam czegoś takiego nie zgłosił. Oczywiście, jeżeli ktoś woli rozmawiać po angielsku, to też nie jest tak, że ta różnica w wydajności jest ogromna. to raczej potwierdza po prostu, że polski radzi sobie naprawdę fajnie, niż że ten angielski jest jakoś daleko w tle. Nie w tym rzecz, też bym się nie zapędzał z takim wnioskiem właśnie. No ale jeżeli lubisz język polski, jeżeli też nie liczysz każdego tokenu, no to śmiało z polskiego możesz bez wrzutów sumienia korzystać, bo nie ma to negatywnego wpływu na wydajność modeli, wręcz przeciwnie. No i myślę, że tym oto sposobem możemy przejść do konferencji Google I.O., o której opowie wam Przemek.

Przemek:

Tak, Marcin wspominał o językach, które możecie wykorzystywać w komunikacji z modelami językowymi. W kontekście Google IOU nacisk był położony na usługi, które Google wypuszcza na rynek. Usługi, które opakowują same modele językowe, usługi, które już są gdzieś tam dopasowane do potrzeb użytkownika końcowego, które też jakby obniżają próg wejścia do tego szalonego świata sztucznej inteligencji. No i tutaj myślę, że dla mnie, ale też dla wielu osób, które oglądały te konferencje, które oceniały to wydarzenie, Takim najbardziej istotnym newsem, takim anonsmentem, który był też zapowiadany przez leadership Googla i firmy DeepMind jest VO3, czyli nowy model do generowania wideo. Jest to absolutnie najlepszy obecnie dostępny model na rynku do realizowania tego typu zadań, czyli właśnie konwertowania tekstu na wideo. naprawdę w znaczny sposób przewyższa to, co jakiś czas temu zaprezentowała firma OpenAI, czyli usługę SORA. W naszych notatkach zaznaczamy dwa konteksty, czyli zarówno jakość wideo, ale też właśnie sterowalność za pomocą promptów, interpretowanie tych poleceń użytkownika. A takim głośnym featurem, takim głośnym anonsmentem właśnie w kontekście VO3 jest również natywne wsparcie dla generowania dźwięku, czego wcześniej nie było, między innymi właśnie SORA też tego obecnie nie wspiera. sporo memów, sporo szumu w mediach społecznościowych, jak zwykle taki efekt viralowy, no bo okazuje się, że kiedy teraz generujecie powiedzmy coś, co skwierczy na patelni, to bardzo mocno to rezonuje tutaj z odbiorcami. Tutaj też Demis Hassabis wrzucał tego typu generacje, tutaj takie efekty, artefakty generowane przez ten model. No robi to ogromne wrażenie. Przyznam szczerze, że w kilku momentach, po raz pierwszy w przypadku V3, miałem takie poczucie tego, że hej, to jest naprawdę niezłe. Co w przypadku SORY jeszcze się nie zdarzało, bo w przypadku SORY widać, Tak naprawdę mówiliśmy o pierwszej generacji takiego narzędzia do generowania wideo, natomiast w przypadku VO3 ta jakość tych generacji idzie po prostu znacznie dalej. Nie jest to jedyna usługa, którą Google zaprezentowało dla twórców kreatywnych. Kolejnym narzędziem, kolejnym usługą czy produktem jest usługa albo taki eksperyment Google’a o nazwie Flow i można powiedzieć, że jest to taki kombajn do tworzenia i edycji wideo, który korzysta z wielu różnych osiągnięć tego, co Google wraz z DeepMind smaży. Można powiedzieć, że jest to taki photoshop do zadań kreatywnych. Można powiedzieć, że jest to taka usługa dla twórców, którzy chcą tworzyć między innymi jakieś kampanie reklamowe, banery, obrazy, fragmenty prezentacji z wykorzystaniem różnych narzędzi. Mamy właśnie VIO do generowania wideo, mamy model Imagine do generowania obrazów oraz oczywiście flagowe modele Gemini do generowania tekstu. Flow jest takim narzędziem, które stara się jakby zacierać granice pomiędzy tymi różnymi usługami. dostarczając nam właśnie taki software dla użytkownika końcowego, który po prostu ma w głowie jakiś plan, ma w głowie jakiś projekt i teraz bez wychodzenia z tej samej strony, którą uprzednio otworzył, może dochodzić do jakiegoś efektu końcowego. Jeśli chodzi o dostępność, to pewnie nie będzie dla was zaskoczeniem to, że nie mamy tutaj general availability. Mamy tutaj na start dostępność wyłącznie dla użytkowników w Stanach Zjednoczonych w ramach subskrypcji Google AI Pro. I mamy też nowy plan Google AI Ultra, taki odpowiednik Chata GPT Pro, za którego musimy zapłacić ponad 200 dolarów, 249 dolarów. I tutaj, jeśli chodzi o Flow, mamy 100 generacji tych artefaktów miesięcznie, natomiast w przypadku subskrypcji Ultra mamy ten próg ustawiony nieco wyżej. Jest on nie do końca określony w jasny sposób. Google mówi, że po prostu na tej najwyższej subskrypcji macie najwięcej komfortu w kontekście tworzenia tych efektów, które w Flow możecie uzyskać. Opowiadając o Flow wspomniałem również o tworzeniu obrazów i tutaj również mamy odświeżenie usługi, odświeżenie modelu Imagen. Mamy Imagen 4, jest to nowa wersja modelu do generowania obrazów, którą znajdziemy zarówno w aplikacji Gemini jak i poprzez API. Tutaj z pierwszych recenzji pojawia się taki wniosek, że te efekty są zbliżone do tego co możecie dzisiaj uzyskać w 4.0 Image Generation poprzez interfejs z chata GPT, chociaż mamy tutaj nieco gorsze podążanie za promptami i takie odwzorowanie stylu na podstawie referencyjnego obrazu, ja przyznam szczerze, że tutaj zdecydowanie więcej czasu spędziłem właśnie w czacie GPT z 4.0, zarówno jeśli chodzi o generowanie całych obrazów, jak i edycji fragmentów obrazów, no ale na pewno chętnie skorzystam. Dla mnie wciąż i chyba myślę Marcin do ciebie też, taką równie istotną alternatywą jest mid journey, z której też na co dzień korzystamy właśnie w tym kontekście, ale tych usług, które w łatwy sposób dają nam jakościowe rezultaty pojawia się na rynku coraz więcej. I myślę, że plusem jest również to, że mamy tutaj integrację tych usług w ramach jakiegoś większego abonamentu, że nie musimy wchodzić w każdym nowym use case na nową stronę, tylko możemy pozostać czy to w Gemini, żeby wygenerować obraz właśnie w ekosystemie Google, czy możemy pozostać w chatzie GPT, żeby wygenerować obraz właśnie w ekosystemie OpenAI. Więc sporo narzędzi dla twórców kreatywnych, zarówno jeśli chodzi właśnie o obrazy, jeśli chodzi o wideo, ale również nowe narzędzia do zaawansowanej analizy treści, analizy tekstu. Mamy tutaj Gemini 2.5 Pro rozszerzone o nowe algorytmy, o większą moc obliczeniową. Mamy taki nowy tryb, zapowiedź właściwie nowego trybu Gemini 2.5 Pro DeepThink. Tutaj DeepMind, czyli ta podgrupa Google, która zajmuje się AI i sztuczną inteligencją, wspomina, że w tym trybie DeepThink Gemini 2.5 Pro będzie wykorzystywać między innymi nowe sposoby przeszukiwania powiedzmy przestrzeni rozwiązań w obrębie danego problemu, co ma oczywiście skutkować wyższą jakością odpowiedzi i również większą skutecznością w benchmarkach, które firma zaprezentowała. Tutaj jest zapowiedź, tutaj jest taka gwiazdka. Na początku będzie tutaj dostęp przez Gemini API. Będzie tutaj taka zamknięta beta. Google wspomina, że chce uzyskać najpierw pewną porcję feedbacku, zanim pojawi się to general availability. No ale kiedy to będzie dostępne, to również myślę, że będzie to istotny konkurent, chociażby dlatego, co smaży OpenAI, czyli właśnie tutaj i O1 Pro i nadchodzące O3 Pro. czyli również te najlepsze modele reasoningowe wzbogacone o więcej mocy obliczeniowej. O czym mówią benchmarki? Benchmarki mówią, że w tym trybie DeepThink Gemini Pro radzi sobie zarówno z konkurencją od OpenAI, radzi sobie dobrze również z powiedzmy tym podstawowym modelem, czyli Gemini 2.5 Pro bez tej dodatkowej mocy obliczeniowej i widzimy tutaj poprawy wyników zarówno jeśli chodzi o live code bencha, jeśli chodzi o benchmarki związane z matematyką, takie jak USA Math Olympics 2025, czy benchmarki skupione na ocenie multimodalności, czyli już wykraczanie poza sam tekst, ale również skupianie się na generowaniu innych treści. Więc więcej mocy obliczeniowej Gemini 2.5 Pro, który i tak w wielu benchmarkach jest już modelem najlepszym, zyskuje jeszcze więcej paliwa i te efekty po prostu idą w górę. Na pewno mieliśmy też wspomniane wielokrotnie ekosystemy dla programistów. Mieliśmy tutaj informacje o tym, gdzie Gemini 2.5 Pro znaleźć. Co ciekawe wiele forków Visual Studio Code, w tym Cursor i Windsurf były wprost wymienione w trakcie prezentacji. Myślę, że Google też dość dobrze rozumie tutaj gdzieś tam usługi, które oferuje względem tego, jakie korzyści osiągają poprzez integrację z innymi firmami. Nie stara się tutaj gdzieś tam zaciemniać tej rzeczywistości, nie stara się tutaj ukrywać alternatywnych sposobów dostępu do Gemini 2.5 Pro. Myślę, że dla nich całościowo jest to po prostu in plus, bo my tutaj również chociażby w trakcie tego podcastu często o tym wspominamy, kiedy korzystamy z kursora, kiedy korzystamy z windsurfa, to dostęp do Gemini 2.5 Pro po prostu sprawia, że znacznie, znacznie lepiej z tych narzędzi się korzysta. Jak tutaj, Marcin, z twojej strony ta konferencja wyglądała? Na co ty zwróciłeś uwagę? Coś chciałbyś tutaj może dodać? Może jakiś inny element, jakaś inna usługa?

Marcin:

Bardzo dużo nowości, wszystko wokół AI i też duża część była czystymi zapowiedziami i dlatego nie uwzględnialiśmy ich w tym omówieniu. Raczej skupiliśmy się na tym, co już mamy albo co zaraz będzie dostępne i do przetestowania. No bo były również zapowiedziane i dość ciepło odebrane okulary Android XR, które będą jakąś konkurencją dla okularów Mety. Więc bardzo ciekawy sprzęt, ale w ogóle jeszcze nie ma żadnych konkretów, kiedy to się pojawi, w jakiej cenie. Ale było dość imponujące demo tłumaczenia w czasie rzeczywistym z różnych wariantów języków wykorzystywanych w Indiach na język angielski. No więc niesamowita technologia. Pewnie za kilka lat się doczekamy sytuacji, gdzie w zasadzie możemy się w swoim własnym języku komunikować z osobą, która mówi w dowolnym języku. No to jest niesamowita wizja. Był również update Gemini 2.5 Flash, czyli tego najbardziej ekonomicznego z modeli Google, który osiągnął niesamowite wyniki we wszystkich benchmarkach, również na LM Arenie. jest w top 5, a jednocześnie kosztuje jakieś absurdalnie niskie kwoty. Mówimy o 15 centach za milion tokenów wejścia i 60 centów za milion wyjścia. Jeżeli włączamy tryb rozumowania, to mamy 3,5 dolara. To nadal jest taniej od 4 mini. Już nie mówiąc w ogóle o jakichś tam Claude’ach 3,7,4, bo to jest zupełnie inna półka cenowa. więc niesamowite ceny, porównywalne jedynie tak naprawdę z DeepSeakiem, który zostaje w tyle względem tego modelu, przynajmniej na poziomie benchmarków, no więc niesamowita tutaj dominacja, jeżeli chodzi o opłacalność ze strony Google’a. Będziemy również za chwilę mówili o modelach Cloud4, które imponują, nawet jeżeli chodzi o wydajność, to zdecydowanie mogą odzyskać pozycję lidera jeżeli chodzi o programowanie dla Antropic, no oczywiście z tą gwiazdką, jeżeli nie bierzemy pod uwagę opłacalności, no bo tutaj Gemini 2.5 Pro, Gemini 2.5 Flash, no to są niesamowite modele, które gdzieś tam cementują pozycję Google, jeżeli chodzi o lidera. Pytanie, ile oni realnie, czy oni zarabiają na tych modelach, czy po prostu żrą te koszta, żrą staty, ciężko, ciężko powiedzieć przy takiej korporacji, która ma w zasadzie nieograniczony budżet, no to wszystko jest możliwe. Przejdźmy w takim razie do Antropica, przejdźmy do Cloth 4. Myślę, że wiele osób czekało na tą rodzinę modeli. No i doczekaliśmy się Opusa 4, doczekaliśmy się Soneta 4. 22 maja pojawiły się te modele. No i wprost jest powiedziane, że są to modele, które mają być nową generacją, jeżeli chodzi o kodowanie, jeżeli chodzi o zastosowania. agentowe, czyli z tego z czego już Antropic od dłuższego czasu słynie. No i mamy tutaj zdecydowany update względem 3.5 Opusa i i3.7 Soneta. Tak więc takim głównym benchmarkiem, do którego się odnosiliśmy w tym zakresie jest SWE Bench Verified. czyli to jak modele radzą sobie z end to endowymi zadaniami programistycznymi i tutaj faktycznie Opus 4 i Sonnet 4 są liderami względem tego właśnie benchmarku mamy wyniki na poziomie 72,5% czyli nawet przewyższające OpenAI Codec 1, o którym będzie w dalszej części, no a jest to już nie sam model, ale już cały system, który jest jeszcze dodatkowo dostosowany do tego typu zadań właśnie, a tutaj samodzielne modele radzą sobie równie dobrze. No więc niesamowity wynik. Również widać sprawność tych modeli w programowaniu w LM Arena w zakładce WebDev, no czyli takie end to endowe budowanie aplikacji full stack w pokroju tego, co znamy z usług Bolt czy Lowebu. TownCloud Opus jest na pierwszej pozycji, a Sonnet czwórka jest na pozycji trzeciej. Pomiędzy nimi jest Gemini 2.5 Pro. No więc tutaj naprawdę imponujące wyniki. Obydwa modele są hybrydowe, czyli mogą działać zarówno w trybie Thinking, jak i w trybie takim Instant Base. Więc tutaj tak samo do tego podeszło Antropic, jak w przypadku modelu Cloth 3.7. Sonnet jest to bardzo ciekawe rozwiązanie, bo do niektórych zdań po prostu nie potrzebujemy tego trybu thinking, chcemy mieć szybszą odpowiedź, więc fajnie, że tutaj jest ten wybór dla nas dostępny. Czym też te modele się wyróżniają? No to bardzo przystępnym cut-off datem, czyli czasem aktualności samych modeli, no to jest marzec 2025, więc zdecydowanie najlepsza data, jeżeli chodzi o wszystkie popularne modele, niemalże aktualne dane są tam dostępne, ale co jest szczególnie ciekawe, no to w samym system prompcie, bo tutaj Antropik bardzo otwarcie podszedł i transparentnie do tego, jak ten model działa, jak on jest dostosowany do potrzeb użytkowników, no to model opowiedziany, że jego cut-off date to jest styczeń 2025 roku, dwa miesiące wcześniej. No i to pewnie wynika z tego, że te ostatnie dwa miesiące, tak danych nie ma aż tak dużo. Co zresztą też widać, jak sprawdzacie na modelach te dane takie za, sprzed tego cutoff date’u, to często tam są pomyłki, ta skuteczność nie jest taka wysoka. Oni pewnie zdają sobie z tego sprawę, więc mówią modelowi, że tam cofnij się o te dwa miesiące, bo już wtedy pewnie tych danych jest więcej i model po prostu częściej będzie odpowiadał w sposób, w sposób prawidłowy. Więc takie smaczki można z tego systemu kardu wyciągnąć. Jeżeli jeszcze chodzi o takie czysto techniczne tematy, no to maksymalny output jaki mamy od Opusa 4 to są 32 tysiące tokenów, a co ciekawe, Sonnet 4 dwa razy więcej tokenów może w jednej generacji dla nas zapewnić, czyli to jest 60 tysiące tokenów. No to jest oczywiście bardzo istotne w takich zadaniach programistycznych właśnie, no gdzie chcemy czasami gdzieś jakiegoś dużego, duży fragment kodu wyprodukować, zrobić coś takim one shotem. No więc tutaj to się jak najbardziej sprawdza i Sonnet 4 no tutaj naprawdę fajny wynik osiąga. Jeżeli chodzi o okno kontekstowe, no to cały czas mamy te 200 tysięcy tokenów. Jest to mniej niż w przypadku Gemini 2.5 Pro 3, GPT 4.1, gdzie mamy ten milion, no ale też pamiętajmy o tym, że realnie to i tak gdzieś około 100 tysięcy ta efektywność znacznie spada w przypadku modeli CLOT-4, tak właśnie jest. Jeszcze nie mamy co prawda wyników Fiction Life Bencha jeżeli chodzi o tryb Thinking, ale no efektywność tych modeli około 200 tysięcy tokenów spada. Tak zresztą też jest właśnie w tych w przypadku wymienionych przeze mnie modeli Google i OpenAI. Być może oni po prostu nie chcą na rzecz marketingu dawać jakichś takich no moonshotowych liczb, bo dobrze wiedzą w benchmarkach jak to wygląda. Póki co to jest taki trochę pusty frazes. Ten nie milion brzmi fajnie, ale w praktyce niewiele tak naprawdę z tego wynika, bo właśnie około 200 tysięcy to jest ten efektywny zakres tego, jak te modele działają. Przemek, może właśnie jeszcze wejdźmy sobie w tego system prompta. Co tam jeszcze ciekawego udało nam się wychwycić o tym, jak modele Cloud4 działają?

Przemek:

Może tutaj jeszcze jeden krok wstecz. Tutaj musimy oddać kredits niejakiemu Elder Plinusowi, czyli jednemu z bohaterów Eksa, dawniej Twittera, który zajmuje się tak zwanym J-breakingiem modeli językowych. To jest taka postać, która już wielokrotnie gdzieś tam zasłużyła się całej tej społeczności sztucznej inteligencji pokazując jak po prostu łamać zabezpieczenia w tego typu usługach i w repozytorium które dołączymy myślę do materiałów dodatkowych Claritus czy Claritas konkretnie znajdziecie wiele system promptów modeli z których możecie korzystać nie tylko w kontekście Antropica ale z wielu firm w przypadku Antropica co sprawdzam teraz na osobnej zakładce mamy taki system prompt taki system message który ma 368 linii co też daje do myślenia jeśli chodzi o system prompt, system message, który zwykle chcemy pisać, które mają 10, 15, 20 linii kodu, czy 20 linii tekstu po prostu, a tym co robi w tle Antropic, ale jest to też bardzo ciekawe źródło informacji z jednej strony a propos jakichś ograniczeń, czy wymogów funkcjonalnych w kierunku modelu, ale też tego jaką osobowość ten model powinien reprezentować. I wynotowaliśmy tutaj kilka takich obserwacji właśnie z tego system prompta, które dodatkowo możecie pogłębić wchodząc w materiały dodatkowe, zamieszczamy je na OpenAI na stronie naszego podcastu. Więc po pierwsze model ma unikać tego problemu przesadnego pochlebiania usera. W zeszłym miesiącu, w ostatnich tygodniach mieliśmy tą aferę gdzieś tam z nieoptymalnym dostosowaniem GPT-4.0, który zaczął po prostu częściej chwalić użytkowników, partnerów konwersacji, jakby te filtry odrzucania niewłaściwych tematów rozmów albo gdzieś tam negowania pomysłów użytkowników zostały po prostu obniżone na rzecz tego, żeby zwiększać po prostu pozytywne emocje, chociaż pełen disclaimer nikt tego wprost nie powiedział. Tutaj w przypadku Clouda mamy wprost system message zaznaczony, żeby model nie powinien, żeby model nie zaczynał swojej odpowiedzi czy to właśnie od pochlebstwa, od obserwacji w kierunku użytkownika, że ma świetne pomysły, dobre pomysły, jakieś tam fascynujące, głębokie przemyślenia, doskonałe i tak dalej, i tak dalej. Jakby czytamy, że ta jego osobowość powinna być maksymalnie neutralna, powinna być dostosowana do problemu, nie powinna być przekręcona w żadną stronę. Mamy też zabezpieczenia w kontekście prawa autorskich. Tutaj, jak tutaj Marcin w notatkach zauważył, bez kopywania samego siebie mamy takie fragmenty system prompta, które nie powinny narażać firmy Antropic na dodatkowe niebezpieczeństwa, ale to nie dotyczy tylko tego konkretnego aspektu, ale również między innymi informacji o pricingu, czy planach subskrypcyjnych. Mianowicie mamy tutaj taką rekomendację, żeby Cloud raczej nie starał się halucynować, udając przekonanego do danego stanowiska, na przykład w kontekście prawa, czy właśnie planów pricingowych, czy opłacalności subskrypcji, ale raczej żeby rozmywał odpowiedź mówiąc, że nie jest prawnikiem, że prawo jest złożone, że on tak naprawdę nie jest w stanie określić, czy coś jest lub nie jest dozwolnym użytkiem. Prawdę mówiąc, dość dobrze oddaje to rzeczywistość i tą debatę, która się obecnie toczy, tutaj też nie mamy jasnych wskazówek w kontekście tego, jak te modele tak naprawdę powinny działać, czy w jaki sposób powinniśmy tutaj stosować poszczególne legislacje, ale to, że sam fakt tego, że Antropik postanowił to wprost umieścić w system promcie, jest gdzieś tam takim elementem, który zwrócił naszą uwagę. Mamy tutaj też informację o tym, żeby właśnie nie przepraszał, ani nie przyznawał się do naruszenia praw autorskich, No bo od takiej informacji tylko jeden krok do screenshota i pewnie do uruchomienia jakiegoś postępowania np. sprzeciwko firmie Antropic, gdzie jej usługa potencjalnie przyznawałaby się do naruszeń. Mamy też rozbudowaną obsługę narzędzi. To jest coś, co zwróciło moją uwagę w przypadku premiery modelu O3 od OpenAI. Oni tam wprowadzili reasoning na poziomie obrazu, taki wizyjny reasoning. Jeśli przekazywaliśmy obraz i chcieliśmy wykonać jakąś analizę tego obrazu, to model OpenAI otrzymał, mógł w dowolny sposób na podstawie dostępnych narzędzi modyfikować ten obraz, tak żeby dojść do finalnej odpowiedzi. Tutaj Antropic idzie jeszcze dalej udostępniając dodatkowe narzędzia, takie jak chociażby przeszukiwanie sieci właśnie w momencie trwania tego procesu rezoningu, co ma na koniec skutkować bardziej jakościową, bardziej precyzyjną. odpowiedzią. To jest między innymi właśnie to zachowanie, o którym wspomniał Marcin mówiąc o modelach hybrydowych, gdzie mamy po prostu opcję wymuszania bardziej zaawansowanego, bardziej intensywnego reasoningu. Wcześniej to działało tylko na podstawie tekstu, teraz firmy dodają już coraz więcej narzędzi ułatwiających modelowi zdobywanie dodatkowej wiedzy, czy też poszerzanie tego kontekstu bez jawnych instrukcji ze strony użytkownika. Mamy nadal wsparcie dla artefaktów, czyli takiej funkcjonalności, z której modele Cloud i też usługa Cloud AI jakiś czas temu zasłynęła. Jest to możliwość generowania interaktywnych aplikacji opartych o HTML-a i JavaScript. Nie musimy tutaj wiedzieć tak naprawdę jak te aplikacje pisać, nie musimy znać Reacta, nie musimy znać, przynajmniej w takim pierwszym podstawowym podejściu, Three.js czy Chart.js. Model zaimplementuje daną funkcjonalność za nas. I co ważne, nie tylko udostępni nam pliki do pobrania, ale również wyświetli te aplikacje w takiej interaktywnej formie właśnie na poziomie samej usługi. Bardzo przydatna opcja, jeśli chcecie wizualizować jakieś informacje, jeśli chcecie tworzyć takie interaktywne raporty. Ja tutaj przyznam szczerze, że właśnie w przypadku Cloud 4 już kilkukrotnie byłem dość mocno, dość pozytywnie zaskoczony tym, jak te artefakty wyglądają, bo o ile wcześniej widzieliśmy właśnie takie dość prymitywne sklejanie różnych technologii webowych celem utworzenia jakiejś aplikacji, to tutaj już kilka razy miałem taką sytuację, gdzie nawet udostępniałem coś Marcinowi na zasadzie, hej, zobacz to, bo to jest naprawdę dobre i to jest znowu lepsze niż to, co widzieliśmy w modelach poprzedniej generacji. Więc tak to wygląda, jeśli chodzi o system prompt. To, co myślę, też zwróciło uwagę społeczności, to jest temat bezpieczeństwa. Cloud4, szczególnie Cloud4 Opus, czyli ten największy model wymusił na firmie Antropic, włączenie, jak to oni sami nazywają, takiego kolejnego poziomu zabezpieczeń związanych z wdrożeniem, z udostępnieniem tego modelu. Ja tutaj w międzyczasie sprawdziłem, co oni tak naprawdę tutaj w 2023 roku zapowiadali, jak to wszystko miało działać, bo do tego się teraz też odniosę. Mianowicie pod koniec 2023 roku firma Antropic udostępniła taką politykę czterech poziomów bezpieczeństwa, które oni będą wdrażać w momencie premiery kolejnych wersji swoich modeli. i wyglądało to w ten sposób, że każdy z tych poziomów miał po prostu na firmie wymusić dodatkowy, w domyśle większy poziom ostrożności, jeśli chodzi o to, jak ten model działa, ile uwagi na poziomie bezpieczeństwa wymaga, o czym z nim można rozmawiać i tak dalej i tak dalej. I tutaj mam taką klasyfikację, gdzie poziom ASL1, czyli AI Safety Level 1 dotyczy modeli takich jak chociażby systemy szachowe czy LLM-y sprzed 2018 roku, Takie systemy, które są wprost ciekawostką, są jakimś kawałkiem software’u, który możemy uruchomić czy to na naszym komputerze, czy to na chmurze, ale one nie generują żadnych istotnych zagrożeń. ASL 2, czyli ten AI Safety Level 2 dotyczył większości LLM-ów, o których mówimy m.in. w tym podcaście, tych LLM-ów, które pojawiały się na rynku na przestrzeni ostatnich dwóch lat. Natomiast tutaj Antropik wspomina, że uruchamia AI Safety Level 3, I to jest przede wszystkim związane z tym, jak sama firma wspomina, że łatwiej jest uzyskać informacje a propos broni, takie jak broń chemiczna, broń radiologiczna. To jest taki zestaw czterech rodzajów broni, które po prostu można tutaj wygenerować, które oczywiście nie służą do niczego dobrego, które stanowią globalne, bardziej takie strategiczne zagrożenie. Jak firma wspomina, prawdopodobnie przez to, jak dużym modelem jest ten Cloud4 Opus, jak zaawansowane wnioskowanie, działa tutaj w przypadku tego modelu i jak dużo wiedzy on zebrał na etapie treningu, po prostu dodatkowe zabezpieczenia musiały zostać wdrożone. Co ciekawe, firma wspomina, że ona sama nie jest przekonana, czy to jest krok niezbędny do tego, żeby ten model w praktyce działał. Jest to raczej takie działanie zachowawcze, ale tutaj właśnie w notatkach prasowych czytamy, że już w momencie premiery Cloud 3.7 Soneta, o którym też wcześniej mówiliśmy, Były już tego typu dylematy, teraz stwierdzono, że ten Cloud 4 Opus jest jakby modelem kolejnej generacji, który ma jeszcze więcej wiedzy, który wykonuje jeszcze bardziej zaawansowany reasoning i faktycznie jakiegoś rodzaju informacji a propos tworzenia takiej czy innej broni masowego rażenia można tutaj po prostu z tego modelu pozyskać, więc mamy dodatkowe zabezpieczenie jeśli chodzi o jailbreaking, dodatkowe zabezpieczenie a propos tego gdzie ten model może działać. O tym wszystkim możecie poczytać na dedykowanej stronie AI Safety Level 3 na blogu Antropica. Marcin, może tutaj tobie przekaże głos. Mieliśmy jeszcze sygnały a propos tego, że model zaczyna na nas donosić do różnego rodzaju służb, tak? O co tutaj chodziło tak naprawdę?

Marcin:

Tak, Claude Opus 4 jest tzw. sześćdziesiątką - “konfidentem”. Różne są w języku polskim, w slangu określenia tego typu działania. No jak się okazuje, jeżeli poprosimy Claude’a o jakieś działania takie właśnie niedozwolone, stanowiące wyzwanie, no to on w swojej fazie thinking próbuje na nas donieść, czy to do rządu, czy to do mediów. Nawet jeżeli nie ma takiej możliwości, to zostało na Twitterze podchwycone i na tym fajnie zagrał influencer, nasz powiedzmy amerykański konkurent Theo Brown, czyli TEOGG, którego pewnie kojarzycie. I on stworzył taki benchmark, snitch bench właśnie, gdzie sprawdzał, jak modele reagują na tego typu zapytania i które z nich właśnie chcą donieść, czy to do rządu, czy to do mediów. No jak się okazało, modele Antropica, zwłaszcza z tej rodziny Cro-4 są tutaj niechlubnymi liderami i one są takie najbardziej proaktywne. Jest to właśnie przede wszystkim czwórka Opus, potem czwórka Sonnet, a potem 3,5 Sonnet. I to są jedyne modele, które Teo skategoryzował jako proaktywne w tym zakresie. Następnie mamy Gemini 2.0 Flash i Clutch 7. Tu mamy taką średnią tendencję, ale znacznie niższą. To jest 30%, 25%. A reszta modeli takich popularnych jak Gemini 2.5 Pro o 4 mini praktycznie wcale tego typu zachowań nie wykazują albo w małym stopniu. No więc z modelami Antropic broić nie wolno, bo inaczej będzie telefon na policję, do prokuratury i koniec. Koniec.

Przemek:

Popraw mnie jeśli się mylę, ale tak naprawdę jak ta afera została rozebrana na części pierwsze. to bardziej chodziło o zamiar samego modelu, o to, co się pojawia na etapie rezoningu, niż o to, że to jest tak naprawdę włączone albo podłączone do jakiejś sieci alarmowej, tak?

Marcin:

Tak, tak jak najbardziej. To jakby była sama tylko próba na poziomie generowania tekstu. Ale pytanie, czy gdyby model nie był podłączony do odpowiednich narzędzi, to czy faktycznie by tego typu działanie przeprowadził. Tutaj nie wiem, czy ktokolwiek tego typu testy przeprowadzał. To była analiza samych, samych tych łańcuchów rezoningowych. Będzie jeszcze temat wpływu AI na rynek pracy i też właśnie jak Antropic do tego wszystkiego podchodzi, więc to też będzie się fajnie z tym wszystkim wiązało i myślę, że jeszcze rzuci więcej światła na tą całą Sprawę, domykając temat modeli Cloud4, mamy również ogólną dostępność usługi Cloud Code, która robi się coraz bardziej popularna, czyli takiej usługi terminalowej, podobnej do Idera, która służy do realizowania zadań programistycznych. To jest taka usługa, która działa w tle i może dla nas realizować większość zadania, chociaż cały czas wymaga nadzoru i sterowania ze strony Programisty dostajemy też pierwsze rozszerzenia w wersji beta do edytorów takich jak Visual Studio Code czy IDE z JetBrains, gdzie możemy sobie właśnie tego Cloud Coda podłączyć. Jeżeli chodzi o efektywny kontekst tych modeli, no to póki co w Fiction Live Bench mamy tylko informacje dla tych wersji bez trybu Thinking i tam zupełnie szczerze szału nie ma i też nie ma zauważalnej poprawy względem Cloud 37. to jest no taka średnia półka bym powiedział obecnie, czyli na poziomie tych 100 tysięcy tokenów no już mamy poniżej 50% wydajności, no więc naprawdę to nie jest to nie jest nic nadwyczajnego, ale w przypadku klock 37 soneta thinking dużo poprawiało sytuację, więc tutaj też może być znaczna poprawa, no i miejmy nadzieję wyniki porównywalne, chociażby jeszcze MinEye 2.5 Pro, bo to też jest bardzo istotne w kontekście programowania, zwłaszcza w przypadku tych zadań, które są bardziej złożone, gdzie mamy duże pliki, no tutaj oczywiście ten efektywny kontekst jest nam bardzo, bardzo potrzebny, a jednocześnie to może być niewidoczne w LM Arenie, w SW Benchu, bo też wiele modeli, które tego efektywnego kontekstu nie miały za wiele, też sobie już dobrze w tych benchmarkach radziły, no bo to nie jest tego typu test. No więc tutaj zobaczymy, czekamy na updates Fiction Live Bench. Jeżeli chodzi o koszta, no są to modele, które są kosztowo okej. Klot 4 Sonnet, no już po prostu od dłuższego czasu trzyma się tych sonnetowych pricingów, czyli 3 dolary za input 15. za output, a jeżeli chodzi o opusa czwórkę, no to mamy 15 dolarów za input, 75 dolarów za output, no czyli bardzo podobnie jak w przypadku o3, które jest jednak tańsze, bardziej można powiedzieć, że bardziej to jest pricing porównywalny z o1 tak naprawdę, bo w przypadku o3 mieliśmy dość radykalną obniżkę, no więc opus czwórka jest modelem drogim najwyżej w świecie mimo swoich niesamowitych wyników. Co jest minusem tych modeli? czego też tak nie widać na pierwszy rzut oka. To są stosunkowo wolne względem konkurencji. Mamy tych tokenów wcale nie tak dużo. W przypadku Opusa 4 to jest 50 tokenów na sekundę, w przypadku Soneta to jest 92 tokeny na sekundę. Oczywiście na standardy jeszcze sprzed roku, dwóch to są bardzo szybkie modele, ale na dzisiejsze czasy to stosunkowo wolne, bo dla porównania Gemini 2.5 Pro generuje tokenów 240 na sekundę, O3 263, O4 mini 137, no więc to są kilkukrotnie szybsze modele. Co prawda w przypadku Gemini 2.5 Pro, który generuje tokenów bardzo dużo, on dużo myśli i tam kombinuje, no to i tak na tą odpowiedź finalnie czekamy dość dużo, ale ale ten output po prostu per sekunda jest znacznie znacznie wyższy. Jeżeli spojrzymy sobie na ranking Aider Polyglot, który fajnie nam oddaje efektywność i opłacalność modeli. To są to modele solidne, aczkolwiek no daleko im do miana króla opłacalności czy króla wydajności, bo królem samej wydajności pozostaje Combo O3 i GPT 4.1, ale jeżeli spojrzymy na opłacalność, no to zdecydowanie Gemini 2.5 Pro tym liderem pozostaje, oferując niewiele niższą wydajność i znacznie, znacznie niższe ceny. Tutaj Claude Oplus 4 jest po prostu modelem drogim i Claude 4 gdzieś tam zamyka ten ranking tak naprawdę najlepszych modeli, oferując lepszą opłacalność niż Gemini 2.5 Pro samo, no ale mamy tutaj wydajność na 15% niższym poziomie, no więc to jest zauważalna mimo wszystko różnica. Chociaż jeżeli chodzi o sam vibe check, no to te modele Sonnet 4 naprawdę dobrze działają, są przede wszystkim dobrymi web deweloperami, tak jak w przypadku CROD 3.5 Sonnet, który również w benchmarkach, rankingach wcale nie był zawsze liderem, a mimo to przez długi, długi czas na poziomie takiego vibe checku za lidera był uważany i jest bardzo możliwe, że w przypadku Soneta 4 będzie tak samo. Jest to na pewno model zauważalnie lepszy od 3.7 Sonet, który był modelem dobrym, ale też miał swoje istotne wady związane z tym, że się bardzo zapędzał z robotą. No więc myślę, że udany release ze strony Antropica. Warto Cloda 4 i Cloda cztery soneta i opusa sprawdzać w praktyce, zwłaszcza w taskach programistycznych. Do tego was zachęcamy. I teraz przechodzimy do kolejnego tematu, jakim są asynchroniczni agenci. Przemek, opowiedz, cóż to jest za grupa technologii i z czym się będą te technologie wiązały, jeżeli chodzi o pracę programistyczną.

Przemek:

To jest dość dobre nawiązanie również do tego tematu, o którym Ty mówiłeś, bo w przypadku Antropica coraz mocniej widać to nakierowanie na tematy, na domenę programistyczną. My już o tym mówiliśmy wielokrotnie w tym podcaście, ale w przypadku akurat premiery modeli Cloud4, no tak naprawdę większość press releases poświęcona jest temu, że są to modele dedykowane programistom, dla programistów, i można w nich dobrze programować w ten czy inny sposób i tutaj na różne sposoby, jakby Antropic tego dowodzi, nie tylko na poziomie samych modeli, ale też właśnie tych usług, o których ty wspominałaś. I to jest takie dobre wprowadzenie do pewnego rodzaju transformacji świata programowania, która poprzez potencjał modeli językowych się odbywa, którą możemy obserwować. Jest taka zmiana paradygmatu tego, jak programiści ze sztuczną inteligencją mogą współpracować. Zanim opowiem coś więcej o tej tranzycji no to tutaj szybki i krótki kontekst po co my w ogóle tę sztuczną inteligencję chcemy wykorzystywać. Jak rozmawiamy z liderami właśnie którzy pracują w branży IT na naszych konsultacjach to pojawiają się bardzo podobne punkty do tego co my tutaj zanotowaliśmy w kontekście tego odcinka. Pierwsza taka najbardziej istotna nadzieja jeśli chodzi o sztuczną inteligencję to jest zwiększenie produktywności programistów poprzez automatyzację rutynowych zadań. Mówimy o tym że modele wywodzą się z danych treningowych, gdzie znajduje się rozwiązanie tak naprawdę setek rozmaitych problemów ze świata programowania. Większość tych problemów to jest tak naprawdę coś, co powtarza się na przestrzeni firm. Jeśli taki model po prostu nauczył się rozwiązywania danego problemu, to można po prostu ten problem do niego wydelegować, co oszczędza i czas i gdzieś tam zwoje mózgowe programisty, operatora tej technologii. Mamy też możliwość zrównoleglania zadań, które będzie wykonywać dla nas sztuczna inteligencja. To jest po prostu również konsekwencja tego, że pracujemy z softwarem jako takim. To jest sens wykorzystywania komputerów i oprogramowania. Nie chcemy się tutaj ograniczać do możliwości człowieka. Chcemy tutaj uruchamiać równolegle jakieś zadania. Jeśli mamy lepsze modele językowe, lepsze systemy sztucznej inteligencji, to potencjalnie one mogą działać np. na poziomie zespołu czy projektu jak taka grupa programistów, którzy będą dla nas realizować jakieś zadania. To o czym wspominają firmy m.in. tak jak m.in. Antropic to jest również delegowanie takiej pierwszej linii wsparcia w projektach m.in. do oceniania kodu zgłaszanego przez innych programistów czy do odwoływania się do zgłaszanych issuesów czyli takiej pracy supportowej która jest istotna nie tylko w kontekście open source ale też w kontekście jakichś współdzielonych projektów na poziomie zespołu gdzie wszyscy na ten projekt patrzą Duża część, powiedzmy, zgłoszeń czy problemów jest czymś trywialnym, co na przykład wywodzi się z tego, że ktoś nie doczytał czegoś w dokumentacji albo nie do końca poprawnie zinterpretował wymagania. Taki agent również może działać, czy też taka sztuczna inteligencja może działać jako taka linia wsparcia. No i cała ta dyskusja o tym, na ile modele, czy na ile sztuczna inteligencja pomaga nam pracować bardziej kreatywnie i bardziej strategicznie. Mówimy o tym, że programowanie to nie jest tylko pisanie kodu, to pisanie kodu potencjalnie będziemy mogli w coraz większym stopniu delegować do modeli sztucznej inteligencji, a dzięki temu my, programiści, my, liderzy obsługujący tę technologię, będziemy mogli się zajmować pracą, która jest gdzieś tam wyrównaniem naszych wysokich wynagrodzeń w wielu sytuacjach i wysokich stanowisk, bo tak to również wygląda. No więc tak, mamy sporo nadziei, natomiast to nie jest tak, że już od samego początku gdzieś tam integracji tych systemów te wszystkie nadzieje były spełniane. Bo jeszcze jakiś czas temu mówiliśmy o takim dość podstawowym wsparciu programistów przez sztuczną inteligencję. Mieliśmy ten model Copilota, czyli takiej sytuacji, gdzie sztuczna inteligencja okazjonalnie uzupełnia nasz kod, podpowiada jakieś małe fragmenty, odpowiada na pytania w sposób zamknięty, możemy z nią prowadzić takie izolowane dyskusje. To jest wszystko to, co wielu z was testowało chociażby w GitHub Copilota na przestrzeni ostatnich miesięcy, jeszcze bez właśnie tego trybu. agentowego, czyli wiemy, że jest słuszna inteligencja, natomiast jej użyteczność była często podważana, gdzieś tam krytykowana. Był to bardziej jakby eksperyment, może i nawet na poziomie naukowym, gdzie chcieliśmy sprawdzić, czy faktycznie to może w jakiś sposób wpłynąć na branżę, ale niekoniecznie wszyscy byliśmy do tego przekonani. Ale tutaj o tej tranzycji mówi w bardzo ciekawy sposób firma Windsurf, która zauważa, że po tym etapie co-pilota tak naprawdę powinniśmy się przyzwyczaić do współpracy z agentami. No i tutaj już ten poziom dyskusji, czy też sama ta dyskusja radykalnie się zmienia, bo nie mówimy już właśnie o takich okazjonalnych zapytaniach, czy pytaniach zamkniętych w kierunku sztucznej inteligencji, ale o pewnego rodzaju wirtualnych bytach, które działają obok nas, obok programistów na poziomie zespołu i są w stanie przyjmować coraz więcej zadań bez przerywania pracy programisty, bez angażowania programisty z taką rolą programisty, który z jednej strony jest właśnie operatorem, ale też oceniającym tę docelową pracę wykonaną end to endowo przez taki system. Windsurf zapowiada, że gdzieś taką kontynuacją, o której też sobie jeszcze tutaj z Marcinem podebatujemy, jest taka zupełnie zrównoleglona praca ze sztuczną inteligencją. Oni to nazywają takim modelem flows, gdzie sztuczna inteligencja sobie, programista sobie, obie te strony jakby są świadome swoich decyzji na poziomie projektu i obie te strony są w stanie sobie pomagać. To jest w stu procentach jeszcze zapowiedź tego, jak to może wyglądać. Nie jest to coś, co obserwujemy już dzisiaj. ale jakby Windsor wskazuje, że potencjalnie w tym kierunku może dojść. A czemu my w ogóle o tym mówimy? A no dlatego, że w maju dwie duże firmy wypuściły pierwsze otwarte wersje swoich agentów właśnie sztucznej inteligencji, agentów przeznaczonych do programowania. Mamy tutaj OpenAI Codex, czyli agenta od twórców ChataGPT i mamy agenta o nazwie Google Jewels, czyli agenta do programowania od autorów Gemini. Na takim najbardziej ogólnym poziomie obie te usługi działają w dość podobny sposób, mianowicie musimy się zalogować do naszego konta githubowego, musimy obu tym usługom, obu tym agentom udzielić dostępu do wybranych repozytoriów i kiedy już te usługi pobiorą sobie określone repozytorium, do którego udzielamy dostępu, to tam agent, ten wirtualny asystent może wykonywać jakieś konkretne operacje. To wszystko odbywa się w chmurze, nie musimy do tego angażować naszej infrastruktury, naszych edytorów kodu, edytorów tekstu, możemy po prostu przez przeglądarkę taką czy inną, takiemu agentowi zlecać kolejne zadania. No i oto oczywiście jest też również wprowadzenie do tej dyskusji o wpływie AI agentów na rynek pracy, czyli tej ostatniej części dzisiejszego odcinka. To sobie jeszcze zaparkujemy, to jest taka wisienka na torcie w całej tej dyskusji. Ale do czego uzyskaliśmy dostęp tak naprawdę w maju, w tym ostatnim miesiącu, który tutaj podsumowułem. Zacznijmy od tego rozwiązania OpenAI Codex, Mamy tutaj rozwiązanie dostępne w tych najwyższych planach Chata GPT i mamy dostęp do takiego agenta, z którego możemy korzystać między innymi w planie Enterprise i w planie Pro. Tak jak wspomniałem, po zautoryzowaniu się naszym kontem githubowym możemy otwierać dostęp do tego systemu, do poszczególnych repozytoriów publicznych, które akurat na naszym githubie się znajdują i możemy zlecać zadania. Ten interfejs użytkownika w OpenAI Codex jest na tyle sprytny, że on sugeruje użytkownikowi przy pierwszym otwarciu danego repozytorium jakieś tak zwane low hanging fruity, które można byłoby tutaj wykonać, czy to na podstawie issues, które są otwarte w tym repozytorium, czy na podstawie tego, co ten model po jakiejś uprzedniej analizie postara się zauważyć, a następnie daje nam po prostu taki interfejs to do listy, gdzie możemy temu agentowi zlecać kolejne zadania. OpenAI wspomina, że ten agent sztucznej inteligencji będzie starał się opisywać dość precyzyjnie te swoje poszczególne kroki na poziomie repozytorium, będzie mówił co robi, co zrobił, jakie narzędzia wykorzystał i to ma sprawić, że po prostu dane zadanie zostanie zrealizowane. Na co tutaj warto zwrócić uwagę, jak to wygląda, jeśli chodzi o porównanie właśnie kodeksa i jewels. W przypadku kodeksa mamy dość istotne ograniczenie, czy też takie wymuszenie pewnego rodzaju innych nawyków jeśli chodzi o współpracę z agentami, mianowicie mamy tutaj brak dostępu do internetu. Jeśli kodeks pobierze już nasze repozytorium i wykonają się tam skrypty inicjalizacyjne, to w trakcie działania agenta on zostaje odcięty od internetu. Oczywiście tutaj jakby główną korzyścią jest większy poziom bezpieczeństwa tego co odbywa się w trakcie realizowania tego zadania, co nie ma miejsca w przypadku agenta Jules. Google jakby tutaj pozostawia dostęp do internetu, ten agent może wyszukiwać informacje z sieci, co m.in. też opisywałem na swoim LinkedIn’ie, można do zadania dołączyć dodatkowe polecenie związane np. z wyszukaniem jakiejś informacji, tego w kodeksie nie znajdziemy. W przypadku kodeksa, czyli tego agenta od OpenAI mamy również podobną konwencję do Cursor Rules czy do Copilot Instructions, czyli takich instrukcji tekstowych, które możemy na poziomie repozytorium pozostawić agentowi, żeby on po prostu w bardziej świadomy sposób po tym repozytorium się poruszał. W przypadku kodeksa mamy tutaj plik agents.md. Jest to po prostu taki zestaw instrukcji, który my jako kontrybutorzy, jako maintainerzy tego projektu pozostawiamy agentowi i opisujemy co gdzieś się znajduje, jak realizować poszczególne zadania, co ten agent powinien zmieniać, czego nie powinien zmieniać i tak dalej i tak dalej. To jest taka usługa, która sporo szumu gdzieś tam w tym ekosystemie programowania na pewno wywołała. cztery dni później, bo w trakcie właśnie Google IOM mieliśmy premierę Google Jewels. Tutaj sporo, sporo tych elementów, sporo tych funkcjonalności okazało się być bardzo podobnymi, z jedną istotą również różnicą, poza tym dostępem do internetu Google również pozostawia dostęp otwarty, nie wymagający subskrypcji. Z Jewelsa możemy korzystać w formie takiej otwartej bety. Logujemy się naszym kontem Google’a, mamy tam konkretne limity jeśli chodzi o to ile zadań możemy zlecać, natomiast W momencie kiedy słuchacie tego odcinka, możecie sobie już wejść na stronę Google Jewels i testować te możliwości na waszych repozytoriach na GitHubie. Jeśli chodzi o kodeksa, tam mamy wykorzystywanie modelu O3, mamy taką konkretną wariację modelu O3 o nazwie Kodeks 1. Jeśli chodzi o Google Jewels, mamy tam Gemini 2.5 Pro, czyli widać, że każda z firm gdzieś tam stawia do boju ten najlepszy model reasoningowy, który będzie napędzał te agenty programistyczne. No i właśnie przy pomocy tych agentów będziemy realizować zadania. Marcin, pytanie o twoją opinię. Czy ty widzisz tutaj przyszłość współpracy z tymi agentami? Co zwraca twoją uwagę na pierwszym miejscu, jeśli mowa o tym temacie?

Marcin:

To znowu konkurencja dla juniorów, taka jest prawda. Tego typu rozwiązania jeszcze bardziej utrudniają sytuację właśnie osobom, które zaczynają swoją przygodę z programowaniem komercyjnym. No właśnie tego typu zadania przede wszystkim możemy do systemów takich jak Codex i Jules delegować, czyli jakieś podbijanie dependencji, rozwiązywanie issues’ów lintera, może jakieś dodatkowe testy. Tego typu rzeczy pewnie najlepiej się sprawdzają w tego typu systemach. I pewnie właśnie w takim kierunku będą obecnie rozwijane bo nie jestem w stanie z drugiej strony uwierzyć, że jakieś bardziej złożone zadania będą te systemy w stanie samodzielnie realizować. Wiem to z własnego doświadczenia, że mimo wszystko te modele są naprawdę dobre, ale trzeba przy tych trudniejszych zadaniach na bieżąco, czy to za pomocą naszego kursowego workflow 3x3, sterować, bo jest po prostu ten drift i jeżeli nie patrzymy cały czas im na rękę, no to one w trudniejszych zadaniach gdzieś tam stopniowo odlatują od celu tego, jak my go rozumiemy, a żeby ten cel na bieżąco pokrywał się z naszymi oczekiwaniami. Bardzo ciężko to przekazać jako człowiek, co tak naprawdę my potrzebujemy, co my na myśli. bo już sprawdzaliśmy to na wszelkie możliwe sposoby, za pomocą naprawdę dopracowanych promptów, bardzo bogatego kontekstu, to nadal nie było wystarczająco, żeby te modele były sobie w stanie radzić z tym takim taste’em właśnie. Ale są zadania takie, którego taste’u nie potrzebują, czyli właśnie podbij mi depsy dla nowszej wersji, popraw mi issues’y z lintera, gdzie mamy jasny feedback lub czy to działa, czy nie działa, To są często też zadania nudne, czasochłonne, więc świetnie się to gdzieś tam składa, żeby do tego typu zadania, do takich usług delegować. I też tego typu zadania się stosunkowo łatwo sprawdza, no bo wiadomo, gdybyśmy mieli mieć 60 zadań pokroju ticket z JIR-y dla kolejnego projektu, no to potem ciężko byłoby nad tym wszystkim nadążyć, rozwiązywać konflikty itd., itd., a takie właśnie rutynowe zadania, no to świetnie się sprawdzają, bo one często nie wchodzą sobie w paradę, nie są bezpośrednio związane z rozwijaniem samych feature’ów, więc tutaj widzę ogromny potencjał i zagrożenie dla juniorów właśnie.

Przemek:

Może opowiedz jeszcze czym ten workflow 3x3 jest, bo my o tym mówiliśmy w trakcie InfoShare i w trakcie 10xDevs, natomiast tutaj w podcaście o Pana EA chyba nie omawialiśmy jeszcze tego aż tak szczegółowo. W czym to pomaga, jaki problem rozwiązuje?

Marcin:

Zauważyliśmy, że aby delegować zadania do agentów, trzeba im patrzeć na ręce. Jak to zrobić? Można powiedzieć, żeby model zaplanował trzy kolejne czynności, zrealizował je, zatrzymał się, powiedział, co zrobił i przedstawił też plan na trzy kolejne akcje i w ten sposób idziemy krok po kroku do realizacji bardziej złożonego zadania, jak na przykład napisanie całego endpointa, czy to jest zaimplementowanie całego widoku. Bo jeżeli poprosimy model, żeby zrobił zadanie end-to-end, no to zwykle po prostu będzie duża ilość rzeczy, które nie pokrywają się z naszymi oczekiwaniami. Bo na przykład model gdzieś tam się zakręci, pójdzie w jedną stronę, wprowadzi jakiś błąd i na tym błędzie potem będzie nadbudowywał. A tak mamy cały czas możliwość powiedzenia, tu była mała pomyłka, tu tam się poprawiłem, a tu jeszcze skup się na tym błędzie lintera. A ten pomysł, żeby tutaj dodać trzywarstwową jakąś warstwę ochrony dla dacharstwa, no to w ogóle nie idź w to, bo tego nie potrzebuję. A często modele też mają takie bardzo ambitne plany, robimy MVP. a po prostu tu jest trzecia wersja produkcyjna, nagle w totalnie randomowym miejscu, gdzie wszystko jest po prostu zrobione szybciochem, a nagle tu jest genialny pomysł, jak to po prostu zrobić lepiej niż w Google. No i często tego nie chcemy, więc to sprawia, że możemy ten model sterować zgodnie z naszymi obecnymi oczekiwaniami i potrzebami. No i to jest często różnica pomiędzy zachwytem a frustracją, możemy po prostu wprost te nasze oczekiwania wskazywać i nie ma takiej sytuacji, gdzie nagle powstaje dużo kodu, którego nie rozumiemy, to już właśnie możemy na bieżąco robić Code Review, dzięki czemu kiedy agent tak naprawdę skończy pracować, to już Code Review jest za nami, bo my na bieżąco śledziliśmy pracę modelu, a nie jest tak, że pojawia się znikąd 10 plików, które mają kilkadziesiąt czy nawet kilkaset linii kodu i totalnie nawet nie wiemy, gdzie zacząć to sprawdzać, bo to się działo jakby step by step na naszych oczach. No więc to jest bardzo fajne rozwiązanie. Pewnie za kilka miesięcy, kilka lat to będzie norma, ale u nas gdzieś tam ta lampka się zapaliła samodzielnie. Właśnie pracując nad kursem, ten EX-DES nad pierwszą edycją, gdzie ja po prostu widziałem jak ciężko jest, żeby większe fragmenty kodu generować. No i mówiłem, jak to kurczę zrobić, żeby ludzie nie byli tym przytłoczeni, bo ja już sam jestem, a jestem doświadczonym programistą, pewnie wiele osób będzie mniej doświadczonych, no to totalnie będą przytłoczeni i gdzieś tam w ten sposób na to udało mi się wpaść. Wydaje mi się, że pomysł jest naprawdę, naprawdę niezły i sprawdza się w praktyce. To jest kwestia tylko tego, żeby do prompta dodać taki fragment, realizuj zadanie po prostu krok po kroku, wykonaj trzy polecenia, następnie napisz mi, swój plan na trzy kolejne, czekaj na mój feedback i dopiero przejdź do dalszego działania. Dwa zdania robią ogromną różnicę. Cały czas w tego typu pracy doszukuje się realizacji bardziej złożonych zadań programistycznych, ale jeżeli chodzi o takie zadania rutynowe, to asynchroniczni agenci na pewno dużo namieszają. Testy jeszcze przede mną. Będę sprawdzał Google Jews, jak sobie radzi z podbijaniem debsów, z uprawą błędów lintera. Jestem ciekawy. No i też, co istotne, można powiedzieć, że innowatorami, trendsetterami był Devin, którego krytycznie potraktowaliśmy rok temu przy naszej prezentacji na InfoShare. No tutaj oni byli po prostu trochę za wcześnie wydaje mi się, no bo jeszcze znacznie ten ich pomysł wykraczał poza możliwości modeli, ale teraz jak najbardziej te modele, rutynowe zadania są w stanie realizować end to end i przyjść do nas z gotowym PR-em. I też co widać, twórcy tych edytorów takich jak Cursor czy Windsurf nie chcą tutaj wypaść z gry i też tego typu featury implementują. W ostatniej wersji kursora 0.50 dostaliśmy Background Agent, czyli tak naprawdę bardzo, bardzo podobną usługę, a w przypadku Windsurfa w Wave 8 też mamy takie równoległe uruchamianie agenta w tle, no więc na pewno też tych takich usługach opartych o IDE tego typu rozwiązania będą rozwijane, no bo Google Jews i OpenAI Codec są usługami webowymi. Więc jest to na pewno ciekawe. Będzie czego uczyć. Pewnie w drugiej edycji 10xDevs w mniejszym lub większym stopniu w zależności na ile to wejdzie do naszego workflow’u będziemy tego typu rozwiązania prezentować. No są na pewno obiecujące. Tym niemniej juniorzy mają jeszcze niestety cięższą sytuację, bo często tego typu zadania, jakie będziemy teraz delegowali do agentów, były delegowane do juniorów właśnie.

Przemek:

Dokładnie tak. Myślę, że to jest dobry moment, żeby wprowadzić ostatni temat w tym naszym odcinku, czyli debatę o wpływie sztucznej inteligencji na rynek pracy. Pojawiło się kilka istotnych data pointów, które dzisiaj tutaj postanowiliśmy wziąć pod uwagę. A rozpoczniemy od historii, która dla wielu sceptyków była takim sygnałem a propos tego, że coś ciekawego faktycznie zaczyna się w tym obszarze współpracy programisty i sztucznej inteligencji dziać. To znaczy, być może nam nie uwierzycie, ale jest masa sceptyków, którzy podważają wszystko to, o czym tutaj mówimy. Jest sporo niedowiarków, jest sporo też po prostu wariantów, czy też różnych wersji tego, czym to programowanie jest, gdzie ta sztuczna inteligencja na dzisiaj nie przynosi tak istotnych efektów, jak w kontekście chociażby full stack web developmentu, czyli takiej domeny, o której dyskutuje się najczęściej, publicznie i robią to setki tysięcy programistów, m.in. na Stack Overflow, skąd pochodzą dane treningowe dla wielu modeli. Jednym z takich obszarów, gdzie sporo tego sceptycyzmu było, jest obszar bezpieczeństwa i obszar testów penetracyjnych. Tutaj specjaliści, którzy zajmują się tą domeną, jakby badają potencjał sztucznej inteligencji, ale do pewnego momentu, czy też właściwie przez większość tego okresu, w trakcie którego my chociażby rozwijamy swój podcast, nie zauważali żadnych pozytywnych sygnałów a propos tego, że ta sztuczna inteligencja może być dla nich jakimś istotnym partnerem. I ostatnio w sieci pojawiła się dość głośna już teraz publikacja, która wydaje się, że zmienia całą tę dyskusję, a dla nas będzie to taki punkt wyjścia właśnie do tego, żeby zastanowić się, Jak ta sztuczna inteligencja może w przyszłości zmienić rynek pracy? Przede wszystkim w kontekście pracowników umysłowych. Mamy tutaj kilka opinii, które zaraz wam przedstawimy, które w różny sposób na ten temat patrzą. Ale o co chodzi tutaj właśnie z tym wpływem sztucznej inteligencji na temat, na obszar bezpieczeństwa, na obszar testów penetracyjnych? Mamy niejakiego Shona Hillena, programistę freelancera, który zajmuje się właśnie bezpieczeństwem jądra Linuxa. który na swoim blogu jakiś czas temu opisał przygody z modelem O3, z tym najlepszym modelem reasoningowym od firmy OpenAI, któremu to zadawał pytania a propos tego, czy widzi w danym obszarze związanym z networkingiem, w tym jądrze Linuxa, jakieś podatności, jakieś luki bezpieczeństwa, które warto byłoby załatać. Tak naprawdę jest to kontynuacja testów, które on wykonywał od momentu premiery modelu GPT-4. On wspomina, że już właśnie GPT-4 był takim sygnałem tego, że warto się tą sztuczną integracją zainteresować, ale jakby tam w większości przypadków te obietnice nie były spełniane. W przypadku o trójki okazało się, że sytuacja wygląda nieco inaczej, bo co ten pan Sean Hillon zrobił? Na początku wybrał on konkretny obszar tego jędra Linuxa, konkretnie 3000 linii kodu, w którym wiedział, że znajduje się jakaś podatność, która już przez społeczność zajmującą się jędrem Linuxa była rozwiązana, cofnął się o kilka komitów z tym repozytorium w momencie, kiedy ona nie była jeszcze naprawiona i zaczął pytać różne modele, czy wy tę podatność tutaj widzicie. model Cloud 3.5 Sonnet na 100 prób nie widział żadnej podatności, Cloud 3.7 Sonnet zauważył ją trzykrotnie, a model OpenAI O3 na 100 prób zauważył ją ośmiokrotnie, co dla właśnie tego autora było pewnego rodzaju sygnałem, że O3 faktycznie zaczyna tutaj wykonywać oznaki przydatności, już nie tylko czegoś, co gdzieś tam wykorzystujemy na poziomie eksperymentów, ale faktycznie moglibyśmy z tego korzystać jak z jakiegoś asystenta programisty. No i on postanowił iść krok dalej, zwiększył ten swój zakres testów czterokrotnie do 12 tysięcy linii kodu i chciał przebadać taki obszar Kernela Linuxa, co do którego społeczność była względnie pewna, że tam nie znajduje się żadna podatność, to znaczy była względnie pewna, że to po prostu jest bezpieczne. No i okazało się, że po raz pierwszy zauważył on, że model O3 wskazuje nieznaną wcześniej podatność, co do której później okazało się, że społeczność faktycznie oceniła ją pozytywnie, którą faktycznie załatano, co zostało też wdrożone właśnie do kolejnych wydań samego Kernela. No i to oczywiście otwiera całą debatę, którą zaraz tutaj postaramy się w takiej skompresowanej formie przeprowadzić dla was. A propos tego, jak daleko my jako programiści, my jako pracownicy umysłowy jesteśmy, żeby zastąpiała nas sztuczna inteligencja. Na ile ten potencjał tych najlepszych modeli reasoningowych, takich jak OpenAO3 sprawia, że nasze pozycje są po prostu zagrożone, na ile tutaj wchodzi w grę doświadczenie, a na ile jest to takie narzędzie, które w rękach tak naprawdę każdego operatora może dawać podobne rezultaty. Żeby to skomplikować to ja tutaj jeszcze podkręcę piłkę zanim ci tutaj Marcin przekaże głos. Dario Amodei szef Antropica idzie w całej tej dyskusji dużo dalej alarmując w ostatnim tygodniu przy okazji właśnie premiery modeli Cloud 4, że jego zdaniem cała ta dyskusja jest gdzieś tam prowadzona z niedomiarem, to znaczy o wiele mniej uwagi temu poświęcamy niż jego zdaniem warto by było. On mówi, że jego zdaniem dla entry level knowledge workerów, czyli dla takich początkujących pracowników umysłowych w ciągu najbliższych, jak on to mówi, od jednego do pięciu lat bezrobocie może wzrośnąć między 10 a 20 procent właśnie na skutek rosnącego potencjału narzędzi sztucznej inteligencji. I on też stawia taki zarzut w kierunku rządu, w kierunku polityków, mówiąc, że oni po prostu lukrują rzeczywistość, że oni jakby nie chcą tego wprowadzać do debaty publicznej, nie chcą ostrzegać społeczności czy społeczeństw, nie chcą mówić o tym, gdzie ta sztuczna inteligencja tak naprawdę jest. No i pojawia się taka wielka wyrwa a propos tego, co taki statystyczny Jan Kowalski myśli na temat tych narzędzi, a gdzie te modele znajdują się Dzisiaj. Wiem, panie Marcinie, że mocno cię ten temat zainteresowa. Masz też kontrargumenty w tym wszystkim, co Dario Amodei podnosi. Jak ty widzisz ten wpływ modeli obecnej generacji na rynek pracy? Czy chcesz się zdecydować na jakieś prognozy, czy raczej masz jakieś obserwacje w formie takiego challenge’u do tego, co pan Dario mówi?

Marcin:

Wyeliminowanie połowy wszystkich miejsc pracy dla pracowników umysłowych w rozmiarze zrobocia do 10-20% w przeciągu roku do pięciu lat. no to postawiłbym dużo pieniędzy, że żaden z tych klaimów się nie zrealizuje. I myślę, że mógłbym tutaj stać się równie majętną osobą jak Dario Abodei, stawiając, że się myli. Chociażby jakby nie negując w ogóle wpływu sztucznej inteligencji i możliwości, ja myślę, że on dobrze sobie zdaje sprawę, że takie powszechne wdrożenie, które miałoby tak dogłębne skutki, zajmie społeczeństwom znacznie, znacznie więcej czasu. bo nawet tutaj nie technologia byłaby dla nas botylnekiem, tylko samo tempo wdrożenia. Pamiętajmy, że żyjemy mimo wszystko w czasach, w których wiele osób nie korzystało wcale albo kilkukrotnie szczata GPT. Nie jesteśmy w miejscu, gdzie firmy wdrożają tę technologię na jakąś szeroką skalę, próbują automatyzować całe stanowiska. To są raczej pojedyncze sytuacje, kończące się póki co raczej porażką niż sukcesem, jak w przypadku klarny, która próbowała całe dział obsługi klienta zastąpić sztuczną inteligencją. W tym roku się z tego wycofywali, zatrudniali dużą liczbę ludzi z powrotem, bo zdali sobie sprawę, że najwyżej w świecie AI sobie nawet w tak pozornie prostym zawodzie jak obsługa klienta gdzie mamy zazwyczaj skończoną liczbę zapytań, możemy nafeedować jakąś bazą wiedzy, a to i tak nie działa. Mimo, że mamy chatbota, konwersacje, wydawałoby się, że nie może być łatwiej niż automatyzacja obsługi klienta, a to po prostu póki co nie działa. W takim charakterze przynajmniej end-to-endowym, bo odpowiedź na część zapytań, tych najprostszych, bez zaangażowania człowieka, jak najbardziej. Ale często pojawiają się bardziej złożone zapytania, gdzie musi się włączyć człowiek, gdzie pojawia się niesanadowy styl konwersacji. Widzimy, że ludzie cały czas są potrzebni. Być może w znacznie mniejszym zakresie. To, co kiedyś było potrzebne, gdzie potrzebowaliśmy 10 osób, może teraz potrzebujemy 2-3 z umiejętnym wykorzystaniem sztucznej inteligencji, ale ciężko mówić jakiejś pełnej automatyzacji, a to pewnie byłoby potrzebne, żeby aż tak imponujące wartości osiągnąć, a cały czas jesteśmy w obszarze stosunkowo prostej pracy umysłowej, jaką jest właśnie obsługa klienta. Nie mówimy tutaj o jakimś programowaniu. Tutaj myślę, że wpływ AI na bezrobocie będzie naprawdę z nikomu, no chyba, że będą to działania takie jak w przypadku Microsoftu, gdzie bardziej firma, wiele osób tak twierdziło, ja też tak twierdzę, to jest dużo bardziej performatywne. Zwalniamy ludzi, bo mamy ich bardzo dużo, możemy sobie na to pozwolić i niech tam ludzie po prostu obawiają się, że to AI, bo tak się składa, że mamy fajne modele i tam możecie sobie po API z tym śmigać, bo nam to po prostu zwróci się z nawiązką, raczej budowanie tego typu napięcia dla tego typu wielkich korporacji, która modele oferuje, jest bardziej im plus, a 6 tys. ludzi dla firmy, która zatrudnia chyba ponad 100 tys. osób, to znowu nie jest tak dużo, a też wiele z tych firm dużo za dużo zatrudniało podczas COVID-u i szukają każdej możliwej okazji, żeby części ludzi się pozbyć na ruszanie w świecie. Ale sam wpływ AI na operacyjność tych filmów jest znikomy. To wszystko jest dużo bardziej często złożone niż by się mogło wydawać. Zwłaszcza, że w przypadku Antropica również można mieć podejrzenia, że tego typu klejmy ze strony Daria Moda, jak tego ogólnie bardzo szanuję i lubię, mogą mieć drugie dno. bo tu jak zauważyli hostowie podcastu All In, proszę David Saks, tego typu takie white claimy ze strony Dario Amodea się pojawiają średnio raz na pół roku, jak Antropic zwłaszcza zaczyna zbierać rundy finansowania. I tego typu właśnie ostrzeżenia to nie jest pierwszy raz, kiedy Dario to mówi. On znika na pół roku, potem nagle się pojawia. Można powiedzieć, że straszy, gdzieś tam ubiera tą czapkę, AI Doomera wpada runda 300 milionów i wraca do roboty i potem znowu robi turne podcastowe, gdzie straszy wszystkich po prostu końcem sztucznej inteligencji, jednocześnie promując bardzo odpowiedzialne podejście firmy Antropic w przeciwieństwie do konkurencji. To jest taki trochę znak rozpoznawalny. Wystawiamy na bezpieczeństwo, wystawiamy na odpowiedzialność i to jest jak najbardziej OK. To jest sprytna technika. jakoś trzeba się wyróżnić. OpenAI zawsze jest we wszystkim. Pierwsze, to jest ich wyróżnik. Google nie musi nikomu nic udowodniać, bo oni mają swoje pieniądze, a Antropic po prostu jest tym bezpiecznym, odpowiedzialnym gościem i pewnie na to też wielu inwestorów stawia. No to jest jakby ta taka technika biznesowa, negocjacyjna, którą rozumiem. A druga kwestia jest taka, że Daria Madej ma dość mocne powiązania z całym tym ruchem AI Doomeryzmu. Jego żona jest mocno zaangażowana w ruch Effective Altruism, z którego AI Doomeryzm się wywodzi. To jest taka grupa w dolinie krzymowej trochę zbyt bogatych, często młodych mężczyzn, którzy takiego trochę robią. To jest taka sekcja apokalipsa na miarę XXI wieku. wieku, tylko zamiast smoka i tutaj szatana to nadchodzi sztuczna inteligencja i my was po prostu przed tą sztuczną inteligencją uratujemy. Tylko tak się składa, że po prostu musicie podążać za naszymi wskazówkami i tak dalej i tak dalej. Nie będę gdzieś tam się w to zagłębiał. No tym niemniej jednym też z takich dużych graczy w tym ruchu był sam Bankman Freed. Nie wiem, czy jeszcze pamiętacie. To jest ten gość od tej grupy naspycowanych narkotykami i fanów kryptowalut, którzy na Bahamach robili ciężkie przekręty. Obecnie gość jest w więzieniu, a wcześniej też był guru tej całej grupy i też w tej sprawie był uważany na kolację. z politykami często się udawał, finansując kampanię Demokratów, Joe Bidena itd. Więc to ogólnie jest wszystko takie, no trochę tam śmierdzące, można powiedzieć. I trzeba tego typu głosy traktować. Wydaje mi się, że z dystansem, ja kiedy obserwuję, co sztuczna inteligencja potrafi, no to widzę, super dźwignie w realizacji niektórych zadań, ale do tego, żeby te systemy były w stanie realizować samodzielnie, nawet tak prostą pracę, nie ujmując nikomu, jak obsługa klienta. Wydaje mi się, że jesteśmy… Pięć lat to i tak jest optymistyczny scenariusz, gdzie będziemy w stanie delegować tego typu zadania end-to-end. systemów, a to też to nie jest taki obszar gospodarki, który pewnie by się odbił na 1% bezrobocia, a co dopiero gdzieś tam 10-20%. Nie wiem, co ty o tym sądzisz Przemek. Kończę mój przydługi rant.

Przemek:

Sporo wątków. Na pewno jedna rzecz, która rzuca się w oczy, to jest też w ogóle jakaś kwestia definicji a propos tego potencjału sztucznej inteligencji. My o tym częściej mówimy zdecydowanie, kiedy mówimy o benchmarkach i raczej wskazujemy na to, że benchmarki i wszelkiego typu testy syntetyczne są dość mocno oderwane od tego, jak wygląda rzeczywistość programisty. I tutaj wydaje mi się, że na podobny temat gdzieś tam wjeżdżamy, bo jeśli mówimy, że właśnie tego typu technologia zastąpi programistę, to fajnie byłoby to doszczegółowić. Jakie zadania programistyczne ty masz na myśli? Bo na przykład właśnie to Mark Zuckerberg też powiedział, że oni rozwijają podobnego agenta do tych, o których mówiliśmy wcześniej. I on twierdzi, i zresztą tutaj sam Altman też to wspomina, że do końca 2025 roku ci agenci będą wykonywać zadania na poziomie mid-level software engineer. To już jest naprawdę mocny claim. Natomiast tak się zastanawiam, czy teraz gdybyśmy wzięli, nie wiem, jakiś skrypt bashowy, który na przykład przyspiesza deployment, albo stawianie środowisk, albo jakąś konfigurację czegoś w firmie, to czy nie moglibyśmy tutaj mówić o podobnym jakby o podobnym zastępstwie np. w kontekście danej roli. Mamy coś co robiliśmy ręcznie, nagle mamy jakiś skrypt bashowy i teraz czy to jest powód do tego, żeby tą osobę, która ten skrypt tworzy np. zwalniać albo żeby po prostu zastępować go jakimś innym zestawem narzędzi. Więc ja też bardzo chętnie bym tutaj zobaczył jak oni definiują to kogo właściwie chcemy zastąpić. Pojawia się tutaj też inny argument, mianowicie cały czas te job openingi na stronie tych firm są. Oni cały czas programistów zatrudniają. To nie jest tak, że oni zatrzymali tutaj hiring. Raczej starają się więcej inwestować w to zatrudnienie programistów. Chcą zatrudniać najlepszych programistów. Ale internshipy też się pojawiają. To są takie firmy, które powoli konwertują się w ośrodki badawcze. Te ośrodki badawcze i te wszystkie programy naukowe bardzo mocno przyciągają do siebie studentów z dobrych uczelni. więc patrzyłbym na ręce tym, którzy te klejmy stawiają. To, co dla mnie jest chyba najbardziej istotne w całej tej dyskusji, to jest właśnie ten temat uświadamiania ludzi na różnych stanowiskach i unikanie skrajności, bo wydaje mi się, że to jest tutaj coś, czego bardzo brakuje. Mamy tutaj kilka problemów. Z jednej strony trywializowanie tego, czym jest zawód programisty, czym jest wiele zawodów, o których tutaj tak naprawdę mówimy, sprowadzanie tego do takiej pracy tak naprawdę odtwórczej, Klika się tak naprawdę w trzy elementy, przesuwa się jakieś cztery okienka i tak naprawdę na końcu się coś pojawia. Nie potrzebowaliśmy sztucznej inteligencji jakby, żeby tego typu operacje zastępować. Potrzebowaliśmy jakichś skryptów i one już były dostępne na rynku i te skrypty nie powodowały tego, że przestawaliśmy zatrudniać programistów. Więc z jednej strony mamy to trywializowanie, z drugiej strony mamy to ten cały hype, który no niestety też widzimy i o którym wielokrotnie mówimy. I chyba to jest taki największy zarzut w kierunku liderów, którzy gdzieś tam nie mają takiego zdrowego dystansu, nie zachowują zdrowego dystansu względem tego, co na przykład pojawia się w mediach społecznościowych, decydując na przykład o tym, żeby zredukować headcount, bo ktoś tam coś tam napisał albo zapowiada się na to, że po prostu te modele będą w takim, a nie innym miejscu. To jest też taki zarzut w kierunku tych firm, o których mówiliśmy w poprzednim odcinku, takie chociażby Duolingo, gdzie CEO mówili o tym, że cała firma przechodzi transformację. ale ja wam tak naprawdę nie powiem o tym, jak to się wydarzy albo jak my się do tego przygotujemy. Znaczy macie to potrafić, macie być w tym biegli, ale tak naprawdę zobaczymy, zobaczymy jak to wyjdzie w praktyce. Tutaj widzę sporo gdzieś tam słabości tego podejścia, no ale nie ma co ukrywać, że z punktu widzenia początkujących, o tym też zresztą mówi autor polecanego wielokrotnie kanału Internet of Bugs, To sytuacja nie jest najlepsza. Możemy wyszukiwać argumenty za czy przeciw. Cała dyskusja o tym, czy sztuczna inteligencja zastąpi programistów, czy ich nie zastąpi. Masa juniorów wspomina, że sytuacja jest cholernie trudna na rynku. Trzeba pewnie z jednej strony trochę czasu, żeby kurz opadł. Z drugiej strony trzeba pomyśleć o reformatowaniu stanowiska programisty. To o tym ty też mówiłeś, że początkujący zupełnie inaczej mogą się definiować jako programyści albo mogą coś innego wnosić do tej branży, niekoniecznie taki klasyczny zestaw umiejętności. To dla nich też jest jakaś szansa. No koniec końców to jest chyba najtrudniejsze pytanie. Nie musimy uciekać w żadne prognozy, w żadne stawianie na to kogo ta sztuczna inteligencja zastąpi, żeby obiektywnie powiedzieć, że jest trudniej niż było jakiś czas temu.

Marcin:

To na pewno, bo sztuczna inteligencja sprawia, że niektóre proste zadania są są teraz trywialne i też bardzo szybkie w realizacji, tak jak pisanie jakiegoś tam prostego kodu. Na to niezależnie, czy byliśmy doświadczeni nieczęsto, musieliśmy poświęcić zauważalną ilość czasu i dlatego też delegowaliśmy tą pracę juniorów, jak na przykład pisanie jakichś tam prostych testów jednostkowych. Nawet nie ważne, jak jesteś doświadczonym programistą, to i tak jest zadanie, które Ci tam zajmie godzinę, dwie. A teraz jak masz model i dobrego prompta, to robisz to dosłownie w pięć minut. I co ogólnie sprawia, że dłużej byś to delegował do człowieka niż w ogóle robił. Nie mówiąc o tym, że całe zadanie masz zrobione w pięć minut, a nie za tydzień prezydium, który jeszcze po drodze trzy razy będzie potrzebował Twojej pomocy. czysto rachunku kapitalistycznego, no to nie opłaca się takiego juniora w firmie mieć. To oczywiście jest bardzo krótkowzroczne, bo w długim terminie nagle zabraknie ci programistów, a rzecz w tym, że praca programisty to nie jest tylko pisanie testów, tylko to jest często właśnie podjęcie decyzji, gdzie te testy warto napisać, co jest sens utrzymać, jak ogólnie system powinien działać, jak zrealizować potrzebę użytkowników i to cały czas są zadania, które bardzo ciężko wydelegować do sztucznej inteligencji, bo one właśnie wymagają tego takiego taste’u, tego zrozumienia preferencji, zrozumienia potrzeb biznesu człowieka i to jest bardzo ciężkie do oddania systemom sztucznej inteligencji w taki sposób, żeby one to rozumiały równie dobrze jak człowiek i w każdym miejscu wyrealizowały w sposób, który generuje więcej korzyści niż szkód. Chociaż nie mówię, że często ludzie nie generują tego typu szkód, robiąc coś w sposób nieświadomy, na pałę itd. To też nie jest tak, że ludzie tutaj zawsze oferują jakąś skrajnie inną Jakość, bo często programiści w Polsce, jest to krytyka, którą już wielokrotnie mówiłem. Duża część polskiej branży IT jest zbudowana na software house’ach, które robią projekty, które z góry wiedzą, że nie mają sensu, ale klient jest frajerem, to można go pokasować na fakturach przez kilka dobrych cykli. Co z tego? jego sprawa. On chce, to zrobimy. Klient nasz pan, w cudzysłowiu, bo na tym zarabiamy pieniądze, że jakiś kodzik się tam pisze, a to, że z góry wiemy, że nic z tego systemu nie będzie, to problem klienta, a nie nasz. Dla tego typu działalności faktycznie modele są dużym zagrożeniem, ale dla biznesu, który działa świadomie, który chce realnie klienta wspierać, to nie jest żadne zagrożenie. Ten kod to ostatnia rzecz, którą dla klienta oferujemy. Oferujemy całe zaplanowanie, czego ten klient potrzebuje, jak to zrobić, jak to zbudować. Tutaj zagrożenia ze strony sztucznej inteligencji specjalnie nie widzę. Sztuczna inteligencja dobrze realizuje zadania, ale to, co jest do zrealizowania, to cały czas jest domena doświadczonych, świadomych ludzi. Jeszcze przez długi, długi czas tak będzie. Oczywiście trzymajcie mnie za słowo. Obym gdzieś za te 1 do 5 lat się nie wstydził tego, co mówię. Oczywiście czas tak naprawdę pokaże. Jakby zmierzając do brzegu, bo już mamy coraz mniej czasu, Może przynajmniej jakieś rekomendacje z naszej strony. Moim zdaniem, mimo tego, że byłem sceptyczny do tematu automatyzacji, to w ogóle nie jestem sceptyczny do tematu stosowania sztucznej inteligencji, bo to jest niesamowita dźwignia i wykorzystywana świadomie, może znacznie podnieść naszą produktywność. Do tego cały czas gorąco zachęcam. Bo gdzieś tam stawanie na przekór temu, szukanie dziury w całym, to raczej nie wytrzyma próby czasu. Zwłaszcza też musimy pamiętać o tym, im jesteś starszy, a jednocześnie jesteś bardziej sceptycznie nastawiony do sztucznej inteligencji, to to może wynikać z tego właśnie, że jesteś starszy i nie chcesz zmieniać swoich przyzwyczajeń, tożsamości. Musisz liczyć się z tym, że są młodzi ludzie, którzy nie będą mieli tego typu blokad, tego typu ograniczeń. Może się okazać, że bardzo szybko będą bardziej użyteczni dla biznesu. Więc lepiej się z takiej ludzkiej natury, z przyczyny ludzkiej natury, nie obudzić z przysłowiową ręką w nocniku. Jeżeli jesteś sceptycznie nastawionym ekspertem, to zachęcam do tego, żeby podchodzić ze sceptycyzmem do własnego sceptycyzmu, bo ludzie po prostu tak mają, że mówią, a ci młodzi, to oni nie kumają, tylko że to nigdy w praktyce się praktycznie nie sprawdza, bo świat się zmienia, metody pracy się zmieniają. Też po prostu byli ludzie już tysiące lat temu, którzy się śmiali z pisma, twierdzą, że to ogłupia ludzi, bo prawdziwy człowiek, wykształcony, tak twierdzili filozofowie z Wschodniej Grecji, się posługuje językiem, mową, bo to jest najwyższa forma. I w ogóle pismo to jest dla przygłupów. Potem tak było z kalkulatorami i tak dalej, z komputerami. Po co to komu, a dlaczego? My tu mamy wyższe, bardziej doniosłe formy pracy. Nie idźmy w to, bo po prostu ludzie, którzy takie ograniczenia mają, mogą nas potem bardzo szybko prześcignąć. I to po prostu się moim zdaniem wydarzył, to już się po prostu dzieje. Przemek, co ty o tym wszystkim sądzisz?

Przemek:

Ja tutaj myślę o dwóch stronach tak naprawdę całej tej dyskusji, czyli o osobach, które właśnie będą podejmować decyzje a propos tego, kogo zwalniać, a kogo zatrzymać i osobach, które potencjalnie albo mogą być zwolnione, albo zatrudnione. I staram się tutaj takie myślenie from first principle zastosować. Po pierwsze też dla osób decyzyjnych. Nie można zapominać, że masa problemów, które w tej branży widzimy, obserwujemy i próbujemy rozwiązywać. to są problemy czystoludzkie. Na przykład Git jako system kontroli wersji on w pewnym sensie czystoludzkie problemy rozwiązuje, mianowicie kilku programistów chce na jednym pliku pracować i trzeba to jakoś uporządkować. I teraz jak na przykład przenosimy tę debatę do świata sztucznej inteligencji i zaczynamy opowiadać o tym, że setki agentów będą równolegle na jednym projekcie pracować, będziemy mieć różne zespoły, różne poziomy tych agentów sztucznej inteligencji, no to kurczę, znowu mogę się pomylić, ale dla mnie to brzmi bardziej jak mrzonka jednak, znając to jak ogólnie software powstaje, znając to widząc to jak łatwo o konflikty, ile wysiłku w ogóle w sieci programowania gdzieś tam jest kierowane w kierunku rozwiązywania konfliktów jako takich i jasne, że to można opakować jakimś algorytmem, natomiast to wszystko ma swoje limity, więc jedną z takich tarcz na cały ten hype, który się pojawia, No to jest to, żeby właśnie myśleć o tym, jak programowanie, czy jak ta praca umysłowa działała jeszcze przed czasami sztucznej inteligencji i ile problemów tutaj pojawiało się nie z tego, z jakim softem dysponujemy, ale jak my jako ludzie w ogóle działamy, myślimy, z czym wiąże się praca w zespole w porównaniu do pracy np. solo. I to wydaje mi się pomaga z większym dystansem na to wszystko patrzeć. To absolutnie nie jest też taki argument za tym, żeby totalnie nie inwestować w to, nie przykładać wagi, ignorować ten temat, ale żeby po prostu spokojniej do tego podejść. żeby potraktować to narzędzie jako coś, z czego twoi pracownicy mogą korzystać. Jest to ta dźwignia dla tych najbardziej doświadczonych, ale właśnie to nie jest ta magiczna różdżka, która jakby tutaj rozwiąże to, że jedna osoba z drugą na przykład nie chce o czymś pogadać. Nie ma tutaj rozwiązań technologicznych, to są problemy na innym poziomie. Więc o sztucznej inteligencji trzeba czasami zapomnieć, żeby ją skutecznie wdrażać, tak mi się wydaje i często o tym jednak zapominamy. Natomiast dla tej drugiej grupy osób, która jakby będzie wchodzić na rynek, Ja tutaj myślę, że w tym całym okresie zmian i chaosu, który obserwujemy, fajnym rozwiązaniem jest to, żeby za bardzo się i przedwcześnie nie formatować, jakby nie narzucać na siebie takich ram, które mogą sprawić, że np. właśnie trudno będzie o znalezienie pracy. Ty Marcin o tym wieku powiedziałeś, też ogólnie to jest temat właśnie tego, na ile już jesteś sformatowany na początku swojej pracy i kariery i zwykle nie jesteś, zwykle masz najbardziej otwartą głowę, najbardziej chłonny umysł, najłatwiej łapiesz nowe koncepty, chcesz iść w różną stronę, eksplorować, eksperymentować. I to jest właśnie szansa dla początkujących, bo jeśli mówimy, że zamyka się jakaś forma rule entry level w programowaniu, to nie znaczy, że inna forma tego programowania się nie pojawi, a prawdopodobnie się pojawi, jest to prawie pewne. Widzimy cały boom na automatyzację, na integrację, na to jak po prostu technologia zaczyna się naprawdę, zaczyna wychodzić z lodówki i tą technologię w jakiś sposób trzeba tam ujarzmiać i opanowywać. I to jest chyba szansa dla początkujących, więc znowu taki mental kurcze buildera, foundera, osoby, która chce coś tworzyć, a nie tylko te taski przyjmować i gdzieś tam nawet się śmiać z tego, co ten klient od nas chce, nawiązując do tego, co ty powiedziałeś. To jest potencjalnie jakieś wyjście. Nikt gwarancji nie da, ja też nie dam gwarancji, że to jest dobre rozwiązanie. Natomiast wydaje mi się, że czeka nas jakiś taki reality check i on ani nie sprawi, że świat zostanie wywrócony do góry nogami, ani też nie sprawi, że ta sztuczna inteligencja zniknie, bo to jest ogromna dźwignia, jest tutaj ogromny potencjał, ale musimy w odpowiedni sposób formatować te oczekiwania. To chyba jest taki bottom line tutaj dla mnie.

Marcin:

Dokładnie tak. Jesteśmy ciekawi waszych opinii. Raz jeszcze zachęcamy do zostawiania komentarzy. Jaki będzie wpływ EA na rynek pracy, jeżeli w ogóle. dawajcie znać w komentarzach. No i myślę, że zmierzamy do brzegu. Złamaliśmy magiczny próg półtorej godziny, więc zamykając ten odcinek zachęcamy Was jeszcze, żeby zapisać się na nasz newsletter Opanuj.ai. Co tydzień w poniedziałek otrzymujecie praktyczne wskazówki. analizę najważniejszej informacji do świata sztucznej inteligencji. Dzięki temu nie przegapicie również nadchodzącego TNX Devs Demo Day, czyli naszego wydarzenia, na którym wspólnie z absolwentami będziemy prezentowali najciekawsze, najfajniejsze projekty wykorzystane, przepraszam, zbudowane z wykorzystaniem generatywnej sztucznej inteligencji i naszej metodologii pracy z tego typu technologiami. Zachęcamy oczywiście również do udziału w drugiej edycji tenexdevs.pl. Na stronie 10xdevs.pl znajdziecie więcej informacji o kursie. Znajdziecie również więcej informacji o Demo Day. Już niedługo tam zapewne się pojawią właśnie informacje o tym wydarzeniu. 16 czerwca, poniedziałek wtedy Was zapraszamy na to wydarzenie. Jeżeli nie chcecie przegapić kursu, to też możecie zapisać się na listę oczekujących na stronie 10xDevs.pl, a jeżeli ten odcinek wam się podobał, wystawcie nam proszę ocenę 5 na 5 na waszej platformie podcastowej, udostępnijcie na social media. Dzięki temu możemy dotrzeć do szerszego grona odbiorców. Jest to też dla nas miłe i jest to jakiś sposób, żeby nam się odwdzięczyć za pracę, którą wkładamy w merytoryczne przygotowanie tych odcinków. Jesteśmy też z góry wdzięczni każdej osobie, która właśnie taką ocenę dla nas wystawiła, zostawiła komentarz, zostawiła lajka. Pomagacie temu podcastowi w ten sposób. Jesteśmy Wam za to bardzo wdzięczni. Dziękujemy za uwagę. Do usłyszenia już za miesiąc. Do zobaczenia gdzieś tam w internetach w międzyczasie. Wszystkiego dobrego. Na razie.