Kurs prompt engineeringu, regulacje sztucznej inteligencji i walka Big Techów - Co słychać w AI (Maj 2023)

Przemek:

W tym podcastie będziemy starali się łączyć treści stricte techniczne dotyczące wykorzystania AI w Waszych projektach i produktach z treściami na temat rynku nowych technologii, branży sztucznej inteligencji i jej wpływu na nasze otoczenie. Oczywiście nie zabraknie też klasycznego kącika bibliotecznego, gdzie chcemy poleczać książki i artykuły, które zmieniają nasze spojrzenie na tę właśnie tematykę. W dzisiejszym odcinku mamy dla Was znakomity kurs Prompt Engineeringu, rozmawiamy o szansach i zagrożeniach związanych z regulacjami AI przez Unię Europejską, a także polecamy książkę o tym, jak życie przechodzi z formy biologicznej do formy technologicznej. I to, od czego chcieliśmy zacząć, to jest kurs, który Ty mi Marcinie poleciłeś, związany z Prompt Engineeringiem, kurs dzięki któremu dowiadujemy się Czym właściwie jest Prompt Engineering? Chciałem, żebyś może przedstawił wszystkim słuchaczom, co to za kurs, gdzie go znalazłeś, bo de facto ty mi go polecałeś i co dzięki niemu możemy zyskać.

Marcin:

Tak, kurs nazywa się Charge GPT Prompt Engineering for Developers. Został on opublikowany przez organizację Deep Learning AI, której gdzieś tam przewodniczącym, frontmanem jest Andrew Ng, który pewnie jest kojarzony przez wiele osób. Jest on twórcą platformy Coursera i autorem znanego kursu Machine Learning, który przez wiele lat, jeszcze za czasów kiedy sztuczna inteligencja nie była tak modna jak teraz, był polecany jako taki świetny, wejściowy materiał dla osób, które się tematem interesują. No i teraz gdzieś tam pojawił się kurs skierowany do ogólnego grona deweloperów, którzy gdzieś tam chcą w swojej pracy wykorzystywać Large Language Models, LLM-y, takie jak oczywiście ChatGPT, czy też gdzieś tam BART, Cloud i inne tego typu. Kurs jest krótki, składa się z 9 lekcji, które trwają 10-15 minut, co nam daje około 1,5 godziny samych wykładów. Tam poznajemy naprawdę takie kluczowe, podstawowe zagadnienia tego, jak gdzieś tam podchodzić do tego Prompt Engineeringu, jakie są podstawowe zasady, no i też potem, jakie mamy te podstawowe zastosowania. Co jest bardzo fajne w tym kursie, to do tych lekcji zaraz obok w sidebarze mamy podpięty Jupyter Notebook. Kto gdzieś tam się w Pythonie bawił, ten wie, że to jest świetne środowisko, żeby pracować z kodem, więc nie musimy się martwić kompletnie z setupem środowiska, bo od razu wszystko mamy zapewnione i możemy się Możemy się bawić, bawimy się w Pythonie, ale no to jest tak gdzieś tam wysoki poziom, że kompletnie bym się tym nie przejmował. Nawet dla osób, które nie są jakimiś turbo zaawansowanymi programistami. Naprawdę, no już podstawowa znajomość programowania powinna wystarczyć w dowolnym języku, żeby w tym kursie sobie poradzić.

Przemek:

No i można powiedzieć, że ten kurs odtacza wszystkie takie checkboxy naszych oczekiwań związane z dobrymi kursami, bo z jednej strony mamy tą właśnie ciekawą interaktywną formę, mamy właśnie notebooki, ale z drugiej strony też objętość jest odpowiednia, to znaczy nie ma tutaj żadnego lania wody, można po tych lekcjach poruszać się bardzo płynnie. i wybierać tak naprawdę to, co pasuje do naszego aktualnego poziomu wiedzy. Przyznam szczerze, że na przykład te pierwsze lekcje z tego kursu były czymś, co sprawdziłem raczej pobieżnie, ale na przykład lekcja o sentymentach i o ekstrakcji emocji, bo akurat tam jest taki przykład z danego fragmentu tekstu. była tym, co zrobiło na mnie duże wrażenie i faktycznie gdzieś z takim przypadkiem użycia modeli językowych wcześniej nie pracowałem i na te lekcje postanowiłem poświęcić więcej czasu, więc to jest taki sweet spot. My też często o tym rozmawiałem, Marcin, przy tych naszych kursach, że to już nie są te czasy, że wystarczy nagrać jakiś film, po prostu go włączyć albo udostępnić na jakimś hostingu, tylko musi być coś więcej i właśnie w tym kursie ten Jupyter Notebook robi robotę, Narracja robi robotę i po prostu sama struktura tego kursu też jest odpowiednia. Myślę, że takich narzędzi chcielibyśmy tutaj polecać jak najwięcej. Pomysł jest taki, żeby w każdym albo w prawie każdym odcinku tego naszego podcastu znaleźć dla Was coś takiego, z czego możecie skorzystać, takie value under 5 minutes. Dzisiaj to jest ten kurs. Marcin, która lekcja dla Ciebie była najbardziej przydatna albo czy u Ciebie poszerzyły się te horyzonty, jeśli chodzi o Prompt Engineering w tym kontekście?

Marcin:

Wiesz co, dla mnie to może nie było szczególnie odkrywcze, ale wydaje mi się, że dla wielu osób może być. To jest gdzieś tam chyba druga, trzecia lekcja, gdzie się mówi o tym iteracyjnym podejściu do pracy z tymi elementami. To mi się wydaje, że to jest coś, co dla wielu osób jeszcze jest niezrozumiałe. Tutaj jakby jest wytłumaczone że ten pierwszy wynik nigdy nie jest tym wynikiem, który my chcemy gdzieś tam wykorzystać i raczej musimy za pomocą zarówno prób i błędów, jak i jakichś konkretnych technik wyciągać z tego modelu to, co tak naprawdę od niego oczekujemy. I tak jak pierwszy wynik może być nieszczególnie imponujący, to tak już czwarty, piąty, kiedy doprecyzujemy nasze potrzeby, kiedy gdzieś tam jeszcze skorzystamy z tej refleksji, żeby model sam zweryfikował, czy nie popełnił jakichś błędów, to nagle się okazuje, że z tej jakości 3x10 nagle nam się robi 7-8x10 i to wydaje mi się, że jest bardzo ważne i to też często widzę gdzieś tam w internecie, że ludzie po prostu tego jeszcze nie wiedzą. No ale całość kursu naprawdę fajna, więc po prostu polecamy, link będzie w opisie. Krótki kurs, konkretny kurs, idealny na weekend, żeby wejść w temat.

Przemek:

Dokładnie, no i dzisiaj chcielibyśmy też przejść przez rynek i branżę. Poza tymi narzędziami, które będziemy tutaj udostępniać, chcemy wam poopowiadać o najważniejszych wiadomościach ze świata sztucznej inteligencji, ze świata uczenia maszynowego deep learningu. Naprawdę sporo się działo. Mieliśmy chociażby sama Altmana i jego pielgrzymki po najważniejszych krajach, na przykład Europy. Sam odwiedzał Warszawę, gdzie uczestniczył w panelu na temat sztucznej inteligencji z dwoma współpracownikami, którzy przy okazji pochodzą z Polski. Sporo się dzieje Marcin. Który temat związany właśnie z rozwojem tej branży AI jest dla Ciebie takim najbardziej interesującym? Czy może masz jakieś takie tematy, którymi się szczególnie niepokoisz albo które Cię ekscytują? Od czego moglibyśmy dzisiaj zacząć?

Marcin:

Myślę, że tematów ekscytujących jest wiele, ale tak naprawdę jest ten temat, który zarówno budzi ekscytację, ale też dużo obaw, zwłaszcza jeżeli mieszkamy w Unii Europejskiej. Chodzi oczywiście o regulacje, prawo, bo tak jak wiemy, że w Stanach to podejście do tych regulacji jest takie bardzo defensywne, w sensie tam raczej rząd zdaje sobie sprawę, że sektor prywatny niechętnie podchodzi do regulacji i oni tam bardzo asekuracyjnie gdzieś tam podejmują jakiekolwiek działania, coś tam też było widać podczas przesłuchania wspomnianego już sama Altmana w kongresie, może o tym za chwilę. No tam jakby jest takie bardzo spokojne podejście, pogadajmy, zastanówmy się, ale ogólnie dopóki nie wybuchło, dopóki nie wybraliśmy znowu Trumpa jako prezydenta, to ogólnie możemy na spokojnie do tematu podchodzić. Ja też nie chciałbym robić ze Stanów Zjednoczonych gdzieś tam ostoi rozsądku, bo wiadomo, że nią nie jest. Wydaje mi się, że jeżeli Trump w 2024 odniesie sukces, no to może być gdzieś tam polowanie na czarownicę i tą czarownicą może zostać również sztuczna inteligencja, bo gdzieś tam będą oczywiście historię o tym, jak to Rosjanie wykorzystali tą sztuczną inteligencję, żeby zmanipulować wynik wyborów. To już jakby trochę słyszeliśmy w przeszłości, więc tutaj też się może gdzieś tam to odwrócić, ale póki co podejście wygląda na takie bardzo gdzieś tam ostrożne i póki co wygląda, że to jest fajna technologia, nic się złego nikomu nie dzieje. Rozmawiajmy, zastanawiajmy się i tam dojdziemy do odpowiedniego miejsca we właściwym czasie. W tym samym czasie w Unii Europejskiej już mamy projekt wielkiej ustawy 140 stron, które po prostu podobnie jak RODO, no bardzo gdzieś tam w szczegółowy sposób opisują co, jak, przez kogo i kiedy. Oczywiście co… pozornie gdzieś tam intencje są świetne, bo chcemy chronić prywatność i gdzieś tam i prawa autorskie i w ogóle wszystko chcemy chronić, no tylko, że w praktyce tak to trochę wygląda, że wiele firm może najzwyczajniej w świecie rezygnować gdzieś tutaj z operacji na terenie naszego, na terenie Unii Europejskiej, bo będzie to po prostu zbyt kosztowne, zbyt ryzykowne i tak to wygląda. Nie wiem, co o tym sądzisz Przemek?

Przemek:

Ogólnie mówi się, że prawo zostaje w tyle za technologią i nadganianie tego prawa względem technologii może być realizowane na kilka sposobów. W Unii Europejskiej jakoś tak się przyjęło, że nadganiamy regulacjami i biurokracją. Oczywiście to jest spłycam teraz, bo wiadomo, że poza tymi regulacjami, poza tym AI Actem, tam sporo gdzieś tam zwoji mózgowych jest uruchamianych, żeby się zastanowić tak naprawdę co zrobić z tym przetwarzaniem danych. No ale widać, że jest jakaś taka panika wśród osób, które mają ten rynek uregulować. Panika związana z tym, że po prostu sama technologia rozwija się bardzo szybko i nie ma tak naprawdę wzorców z historii, które pokazywałyby rozwój czegoś albo jakiegoś narzędzia, które w tak wykładniczym tempie po prostu rośnie. Nie tylko pod kątem, powiedzmy, zasięgów, pod kątem dostępności, ale pod kątem samych możliwości. Może panika to nie jest do końca dobre słowo, ale na pewno jest spore poruszenie i teraz będą wykorzystywane różne sposoby na to, żeby jakoś sobie z tym poradzić, jakoś to wsadzić w ramy prawnych regulacji. No i tak, my akurat jesteśmy po tej stronie oceanu, która nazywa się Unią Europejską, nie spędzamy czasu w Dolinie Krzemowej. No i ja sam mam trochę obaw, bo zresztą tak jak powiedział nasz gość Leszek Bukowski, z którym też rozmawiamy w naszym podcaście, nie widzę za bardzo tego, co Unia Europejska oferuje jakby w zamian za te wszystkie regulacje. To znaczy na razie ten message, ta wiadomość, która idzie jest taka, że na przykład ograniczymy na podstawie lokalizacji to, gdzie trenowane są modele, ograniczymy hardware, na którym te modele są trenowane, ograniczymy zakres danych, na których te modele są trenowane. I to wszystko ma jakiś sens, można byłoby to pewnie wytłumaczyć, użyć jakichś sensownych argumentów właśnie związanych z ochroną danych, ale pytanie jest co dalej, to znaczy jeśli stracimy dostęp do modeli, które na przykład rozwijane są przez Big Techy w Dolinie Krzemowej, bo XYZ, to teraz powiedzmy jak ta sytuacja będzie wyglądać w Europie, czy musimy czekać na jakieś modele, które są tworzone w Niemczech, we Francji, w Polsce. Brzmi to tak naprawdę absurdalnie, bo jakby ta technologia przyzwyczaiła nas do tego, że przekraczamy te granice państw i zaczynamy myśleć bardziej globalnie o tych możliwościach związanych z softwarem. No a teraz tutaj tej alternatywy nie widzę. No i powiem szczerze, że dopóki nie porozmawiałem z naszym gościem, to nie byłem aż tak może zaniepokojony tym tematem. Ale on powiedział w tej naszej rozmowie, o czym zresztą możecie posłuchać, że to jest w zasadzie top 3 tematów, o których teraz powinniśmy myśleć w kontekście branży sztucznej inteligencji. Że tam techniczne osiągnięcia, algorytmy i tak dalej, papiery naukowe, nie są tak ważne jak to, co Unia Europejska zrobi z całym tym obszarem. Ciekawy czas przed nami. Ja sam nie wiem, w którą stronę to skręci. Może ty, Marcin, masz jakieś przeczucia a propos tego, w którą stronę pójdziemy.

Marcin:

Nie, no ja myślę, że nikt tego tak naprawdę nie wie. No na pewno gdzieś tam zaczęło się przyciąganie liny pomiędzy Big Tech amerykańskim a Unią Europejską. No bo wiadomo, jesteśmy niemałym rynkiem, ale też z drugiej strony nie tak dużym, żeby, wydaje mi się, firmy nie były w stanie z nas zrezygnować te amerykańskie. No bo już gdzieś tam nawet sam Altman z OpenAI powiedział, że jeżeli będzie przegięcie, a uważa, że obecne plany to przegięcie, no to bardzo możliwe, że OpenAI się z tego rynku wycofa. No dość szybko gdzieś tam złagodził tą swoją retorykę i powiedział, że póki co jest zadowolony z tego, jak tam rozmowy wyglądają i że on będzie kooperował dalej i że na pewno się uda. No więc teraz pytanie, kiedy mówił szczerze, a kiedy mówił po konsultacji z działem marketingu i PR-u. Wygląda to niestety nieciekawie. No pewnie właśnie wszystko się gdzieś tam sprowadzi do tego, jak dobre będą umiejętności negocjacyjne, dyplomatyczne prezesów tych firm i czy się będą w stanie gdzieś tam z tą Unią Europejską dogadać czy nie. No trzymam kciuki oczywiście, żeby tak było, bo wydaje mi się, że gdyby się nie dogadali, no to będzie to fatalne gdzieś tam do naszych gospodarek. Zostaniemy daleko w tyle, a już jesteśmy w tyle tak naprawdę, zarówno względem Stanów, jak i Chin, więc nie wydaje mi się, żebyśmy też mieli specjalnie komfort, żeby sobie jeszcze bardziej tą drogę, to nadganianie ich utrudniać. Zwłaszcza, że u nas nie ma firm, które by mogły zaoferować rozwiązania, które są o podobną jakość, a jednocześnie zgodną z oczekiwaniami Unii Europejskiej. To nie jest tak i też się nie zapowiada, żeby tak miało być, szczerze mówiąc. No tak samo niestety gdzieś tam uczy nas to RODO, że wszystko fajnie, bardzo dużo regulacji zostało wprowadzonych, które również mają bardzo gdzieś tam światłe motywacje, ale w praktyce to głównie mamy dużo cookie bannerów, Plus ja znam osobiście kilka osób, które nie założyło pewnie fajnych newsletterów, o których myślało, bo się bało, że muszą gdzieś tam podawać adres swojej firmy i w ogóle gdzieś tam pisać polityki, prywatności itd. A coś mi się wydaje, że ci skamerzy, z którymi mieliśmy walczyć, nadal i tak robią to, co robili przed 2016 i gdzieś tam ilość spamu i skamów w internecie wcale nie spadła, więc głównie to raczej ograniczyliśmy ilość tej fajnej, pozytywnej działalności, bo ludzie się tych regulacji boją. I bardzo podobnie niestety może być ze sztuczną inteligencją, tak jak nielegalne boty będą gdzieś tam latały i siały zamęt, a ludzie, którzy chcą tworzyć fajne rozwiązania, które mogłyby pomóc ludzkości, mogą tego nie zrobić, bo się przestraszą na przykład.

Przemek:

Ja bym tutaj zwrócił uwagę na jeden aspekt tej całej sytuacji i konkretnie właśnie chciałbym zwrócić uwagę na ten tur, który sam Altman przeprowadził po dużych stolicach świata i na jego rozmowy z premierami, z głowami państw. bo de facto widzimy sytuację, w której CEO albo przedstawiciel dużej firmy technologicznej zaczyna się zachowywać jak po prostu premier, prezydent albo po prostu polityk i przeprowadza tur dyplomatyczny po dużych krajach, po ośrodkach technologicznych, po potencjalnych rynkach dla swojej firmy. I nie ma się co łudzić, że na tych spotkaniach chodzi tylko o to, żeby spotkać się ze studentami, żeby spotkać się z prezesami firm, Być może o to chodzi troszkę bardziej, ale tam jest sporo polityki w tle i widzieliśmy to na Twitterze, że Altman spotykał się chociażby z premierem Wielkiej Brytanii, z kanclerzem Niemiec, w Polsce również miały być rozmowy z ministrami. No i to pokazuje tak naprawdę jaki wpływ ta technologia wywiera na nasz świat, że to nie są już te czasy, że firmy po prostu dzieją się gdzieś w otoczeniu regulacji i polityki, ale firmy powoli zaczynają jakby odwracać całe to równanie i firmy zaczynają kształtować właśnie politykę. i pewnie w przypadku AI widać to jeszcze bardziej. To nie jest nic nowego, że firmy miały duży wpływ poprzez jakiś lobbying na polityków i po prostu wpływały na to, jak kształtowały się te wszystkie regulacje, ale de facto to, co tutaj widzimy, to jest naprawdę okienko kilku miesięcy od momentu, kiedy powiedzmy Janek Kowalski zaczął być świadomy czegoś takiego jak trust GPD do sytuacji, kiedy szef tej firmy robi tour po największych krajach pod względem adopcji tej technologii. i rozmawia z politykami, więc naprawdę sporo się dzieje. Można jakby nie docenić wartości tych wydarzeń i wagi tych wydarzeń, ale myślę, że na takiej stopie dyplomatycznej naprawdę poważne rozmowy są prowadzone względem tego, jak ta technologia przez następne 5-10 lat będzie się rozwijać. Bo ja na przykład nie widziałem w ostatnich latach, nie wiem, Tima Cooka, który jeździ po Europie i który rozmawia z premierami. Nie widziałem na przykład Sati Nadelli z Microsoftu, który jeździ i rozmawia z premierami. Oczywiście były takie lokalne wizyty, jak np. Microsoft uruchamiał Centrum Technologiczne w Polsce, albo jak Google uruchamia się ponownie w Krakowie i Warszawie, to ci prezesi wpadali do nas, no ale to nie był tur po Europie, więc naprawdę sporo się dzieje i myślę, że waga tych wydarzeń będzie jeszcze powiedzmy odkrywana przez kolejne lata. To są naprawdę ciekawe czasy, chociaż to jest banal, ale to są naprawdę ciekawe czasy, jeśli chodzi o to, co obserwujemy właśnie na tym rynku nowych technologii.

Marcin:

Zgadza się, zgadza się. To na pewno gdzieś tam pokazuje, że są duże gdzieś tam obawy odnośnie tego, jak ta technologia wpłynie na rzeczywistość i stąd takie poruszenie. Ogólnie uważam, że to jest bardzo dobrze, że powinniśmy rozmawiać, zastanawiać i przygotować na to w rozsądny sposób. Jedno do czego mam wątpliwości, czy 140 stron prawniczego po potoku słów od ludzi, którzy często z technologią niewiele mają wspólnego, za to wiele mają wspólnego z prawem i ochroną danych osobowych, czy to po prostu daje dobry rezultat końcowy, czy tak naprawdę o to nam chodzi. Znowu wracając do tego RODO. Tam jest bardzo dużo dobrych założeń i ogólnie to nasze europejskie podejście tak high level jest dużo rozsądniejsze od tego amerykańskiego i w innych państwach i tak w zasadzie powinno być. Tylko chodzi o to, że potem się sprowadzamy do tych poszczególnych paragrafów, gdzie tam jeden po prostu głupi, niejasny paragraf może sprawić właśnie, że że ktoś nie może sobie newslettera założyć, bo nagle mamy jakieś niejasne w ogóle oczekiwania, konsekwencje itd. I żeby tego nie było, żeby było tego jak najmniej i wtedy wszystko będzie dobrze. Więc ja ogólnie trzymam za to kciuki. Mam nadzieję, że gdzieś tam ten rynek się właściwie skomunikuje z prowadowcami i będzie okej. Chociaż ryzyko jest duże, że niestety będziemy mieli powtórkę z RODO.

Przemek:

Wejdźmy ponad temat regulacji, ale pozostajmy przy temacie Big Techów. Sporo się działo w ostatnim czasie jeśli chodzi o konferencje i wydarzenia promocyjne, marketingowe, wydarzenia technologiczne. Jednym z głośniejszych wydarzeń była pewnie konferencja Google I.O. i wszystkie memy, które powstały po tej konferencji wycinające słowo AI z całego wydarzenia i po prostu prezentujące o czym tak naprawdę Google w tym roku mówi. Wydaje mi się, że Google przede wszystkim chciał zarządzić oczekiwaniami akcjonariuszy i zarządzić tymi pogłoskami o tym, jak to bardzo zostaje w tyle w porównaniu do chociażby OpenAI. Chociażby w mediach i w podcastach, których my słuchamy, jakby da się odczuć, że w Google jest spora restrukturyzacja wewnętrzna związana z tym, jak szybko zaadaptują się do tych nowych rzeczywistości, gdzie to właśnie AI, chociaż jeszcze w niegotowej formie, ale jest już otwierane, jest jakby przybliżane powiedzmy społeczności. Google był bardzo ostrożny, tak jak wszystkie big techy były bardzo ostrożne. Tutaj OpenAI jakby wyważył te drzwi ostrożności i stwierdził, że po prostu zobaczymy co się stanie, kiedy po prostu czata GPT damy szerszej publiczności. No ale może mówiąc o samym Google, Marcin, co takiego tobie rzuciło się w oczy albo w uszy jak słuchałeś wszystkich tych nowości właśnie z Google I.O., który też był tak naprawdę pod sztandarem sztucznej inteligencji przeprowadzony?

Marcin:

No zdecydowanie, na pewno fajnie było zobaczyć jakiś tam kombek Google’a, bo te wcześniejsze kilka miesięcy od stycznia do maja nie były za ciekawe, raczej to była cisza gdzieś tam przeplatana porażkami tak naprawdę, więc tutaj gdzieś tam był kombek. I wyszło to naprawdę nieźle myślę. No na pewno gdzieś tam ta nowa wersja BARDA oparta o model M2 zebrała dużo lepsze recenzje niż ta pierwsza wersja. Więc to na pewno jest fajne. Ja ogólnie jestem zwolennikiem konkurencji. Uważam, że powinno być jak najwięcej konkurencyjnych rozwiązań na rynku. bo to fajnie wpływa na nas jako na użytkowników, co zresztą było widać właśnie jako następstwa tej konferencji Google IO, bo tak jak ona sama w sobie była ciekawa, no mówię, był bad, były też rozwiązania jakieś związane z generowaniem obrazów, z tego co wiem we współpracy z Adobe, oni gdzieś tam mają ten swój model Firefly, który też zresztą się pojawił w najnowszej wersji Photoshopa, który też robi niesamowite wrażenie. Jak będę miał więcej czasu to na pewno się przyjrzę, ale wygląda na to, że Photoshop może powrócić gdzieś tam do gry, bo on też gdzieś tam był na uboczu przez ostatnie kilka lat za sprawą Figmy, a teraz się może okazać, że znowu wrócimy do tego software’u. No więc jest tam na pewno kilka fajnych oryginałów. Jest też ten projekt Tailwind, który wygląda mega ciekawie, pozwalający na wrzucanie dokumentów do drive’a i odpytywaniu ich i gdzieś tam uzyskiwaniu podsumowań itd. Więc to będzie, no jeżeli to będzie działało, to brzmi to świetnie, nie? więc naprawdę widać, że działają. Mimo wszystko najbardziej mi się w tym całym Google I.O. tak naprawdę podobało nie Google, tylko odpowiedź OpenAI i Microsoftu, które gdzieś tam zareagowało bardzo szybko. Możesz też o tym opowiedzieć Przemek.

Przemek:

Widać, że konkurencja wpływa na to, jak te produkty wyglądają, te produkty, z których korzystamy. Wydaje mi się, że w świadomości społeczeństwa mamy takie dwa, trzy najbardziej popularne produkty, które są właśnie oparte na modelach sztucznej inteligencji i one w jakiś sposób ze sobą rywalizują, to znaczy te firmy, które za nimi stoją, ze sobą rywalizują. i rywalizują na poziomie tego, co jest dostępne, jak bardzo zaawansowane możliwości są udostępnione dla użytkownika końcowego, a co udostępnione nie jest. W przypadku Barda, na dzisiaj w Polsce, na 31 maja, kiedy nagrywamy ten podcast, jak sobie wrzucę do przeglądarki adres, pod którym jest Bard, to w Polsce dalej go nie ma. Natomiast ChatGPT tak naprawdę rozpycha się na tym naszym rynku. Dosłownie dzisiaj rano mieliśmy release wersji aplikacji ChatGPT na iOS, który w końcu jest dostępny w Polsce. Więc chociażby na tym poziomie, na poziomie dostępności mamy konkurencję, mamy konkurowanie ze sobą, ale chyba takim najbardziej odczuwalnym, powiedzmy, może nie ciosem, ale najbardziej odczuwalną zmianą, która się wydarzyła po tej konferencji było to, że pluginy pojawiły się bardzo szybko dla subskrybentów czata GPT+. Pluginy, czy też pluginy były czymś takim, co pojawiało się na Twitterze, było udostępnione w wersji alfa, beta, był taki canary rollout, to znaczy jeśli miałeś odpowiednie kontakty też w firmie OpenAI, to mogłeś te pluginy dostać wcześniej, bo widać, że wielu naukowców również eksperymentowało z tym narzędziem. Natomiast dosłownie kilka dni po tej konferencji poszła informacja, że w przyszłym tygodniu, dosłownie po weekendzie, te pluginy będą trafiać do wszystkich subskrybentów. No i trudno się oprzeć wrażeniem, że tylko Google I.O. był głównym powodem tego, dlaczego to się stało. Tak naprawdę te klocki układają się w ten sposób, że trudno się tutaj nie zgodzić z tym, co wpłynęło na co, jaki był taki główny driver udostępnienia tych pluginów. No i znowu przeszliśmy na kolejny poziom, teraz pytanie jak odpowie Google. No i też chyba ty możesz sporo powiedzieć o tym co Microsoft robi w kontekście Binga, bo zaczęli się eksperymentować chociażby z Edge’a i tutaj też mamy te zmiany. Microsoft też ogłosił, że chociażby Windows 11 będzie teraz napędzany Copilotem AI. Wiem, że ty zacząłeś korzystać np. z Edge’a i z Binga, więc pytanie czy tutaj widzisz jakieś zmiany albo co tutaj przychodzi ci do głowy jeśli chodzi właśnie o tą dostępność tych produktów.

Marcin:

No ja też, tak jak mówiłeś Przemek, gdzieś tam spojrzałem na tego Bing Chata. On wcześniej też był ukryty za jakąś tam betą, waitlistą i oni też momentalnie… Znaczy ta waitlista cały czas jest, ale teraz ten dostęp się dostaje po prostu, no tam dosłownie 15 minut z tego co słyszałem. i muszę powiedzieć, że to działa naprawdę fajnie. Mamy gdzieś to świetny experience, bo ten Bing Chat jest zbudowany w tą przeglądarkę i świetnie też się z nią komunikuje. Mamy dostęp w Bing Chacie do kontekstu okna przeglądarki, więc jak mamy jakąś otwartą zakładkę, to jakby ten Bing Chat sobie zdaje z tego sprawę i możemy wprost pytać o to, co tam w tej naszej zakładce się dzieje, prosić o jakieś podsumowanie artykułu, który mamy otwarty itd. Rozwiązanie działa naprawdę, naprawdę dobrze jeżeli chodzi obecnie o research, czy też o jakieś tam kodowanie, szukanie informacji na temat konkretnej technologii, jak rozwiązać jakiś problem. No to obecnie korzystam już tylko z Binga. Co prawda to trwa zaledwie dwa tygodnie, ale jest to taka moja domyślna przeglądarka do researchu. Cały czas z Brave’a korzystam jako z głównej przeglądarki takiej gdzieś tam do do codziennego wykorzystywania, ale prawda jest taka, że w tym Bingu spędzam podobną ilość czasu, no bo dość dużo tego researchu jako programista robię i naprawdę ten Bing się świetnie sprawdza. Ma on oczywiście istotny problem, że możemy mieć tylko jedną konwersację w danej chwili i to jest dość gdzieś tam irytujące, plus nie mamy historii konwersacji. Pytanie, czy to ma być rozwiązanie tożsame z Charge’a PT+, chyba nie. Myślę, że te ograniczenia w tym bingu pozostaną, bo on byłby zbyt potężny i mocno by wchodził w paradę. OpenAI, pewnie gdzieś tam się te firmy dogadały ze sobą. No tym niemniej naprawdę polecam, warto sprawdzić i fajnie gdzieś tam, że Microsoft tutaj udostępnił to rozwiązanie powszechnie. Myślę, że jest to świetna konkurencja właśnie dla BARDA, który chyba też po prostu ma działać podobnie. Przede wszystkim ten web browsing działa naprawdę dobrze, w przeciwieństwie niestety do chat GPT obecnie, gdzie z tego browsingu w ogóle nie korzystam, bo to jedynie jest obecnie dobry gdzieś tam licznik czasu na gotowanie jajek, jak to się ludzie na Twitterze śmiali, ale niestety ciężko gdzieś tam się nie zgodzić, bo w praktyce to nie działa obecnie za dobrze. A inne plug-iny, to zależy od plug-inu, taka jest prawda.

Przemek:

No ale a propos właśnie pluginów, widać jeszcze, że te firmy zaczęły się przenikać we dwie strony, to znaczy to nie jest tylko tak, że Microsoft czerpie z OpenAI, ale też OpenAI zaczął czerpać właśnie z rozwiązań Microsoftowych, bo już teraz tym defaultowym albo pluginem, albo setupem związanym z browsingiem w czacie GPT jest po prostu przeglądarka Microsoftu, albo silnik przeglądarki Microsoftu, albo w zasadzie sam Bing, bo teraz tak naprawdę to się tam wszystko przenika Myślę, że sam Microsoft pracuje nad brandingiem i tym, co będzie corem tego produktu, czy to będzie Bing jako wyszukiwarka, czy to będzie Edge jako przeglądarka internetowa. Natomiast teraz jak już sobie odpalimy czata GPT+, to zobaczymy po prostu logo jednego z rozwiązań Microsoftu. I to mi też przypomina o jednym komentarzu, który widziałem na Twitterze a propos tego touru Altmana po Europie i pytanie, które dostał chyba w Warszawie o to, jak bardzo Microsoft wpływa przez tą inwestycję bodajże 10 miliardów dolarów na rozwój firmy OpenAI. I sam Altman powiedział, że bardzo długo negocjowali, żeby nie wpływał wcale. I komentarz był taki, że to zawsze tak jest, że zawsze te firmy mają nie wpływać, kiedy dają miliardy dolarów, a po trzech tygodniach się okazuje, że praktycznie swoją roadmapę zaczynają forsować wewnętrznie. No zobaczymy. Wydaje się to jasne, że poza tymi komunikatami marketingowymi te firmy muszą się przenikać w dwie strony. Mieliśmy też Andrew Karpatego na Microsoft Buildzie, który opowiadał o rozwoju LLM-ów. Też bardzo dobra prezentacja, 50 minut, naprawdę sporo mięsa. No i Microsoft chce sobie zabezpieczyć tą swoją pozycję właśnie na rynku AI. OpenAI, co by nie mówić, jest graczem o wiele mniejszym, jakby z produktem, który robi ogromne wrażenia, ale to nie jest skala Microsoftu. OpenAI mówi o tym, że bardzo mocno korzysta z Azure’a i z tej infrastruktury, którą Microsoft posiada z tych datacenter. Więc zobaczymy, w którą stronę to pójdzie. Google ostatnio zdecydowała się na zmerżowanie dwóch unitów swojego Google Brain i DeepMind’a do jednej jednostki, po prostu Google DeepMind. Zastanawiam się, czy zaraz nie będziemy mieć na rynku Microsoft OpenAI. Nie wiem, czy do tego dojdzie, czy tutaj ekipa OpenAI będzie się jakby bronić rękami, nogami przed takim merżem, ale wydaje mi się, że jest to na stole i w trakcie tego deal’a to mogło być negocjowane.

Marcin:

Na pewno też mi się wydaje, że będą się bronili rękami i nogami, ale kto wie, czy do tego nie dojdzie. Na pewno widać, że Microsoft mocno stawia na to AI, ale prawda jest taka, że to też często wiąże się z tym, że oni mają mniej do stracenia niż Google. Ja nigdy z wyszukiwarki Bing nie korzystałem, nadal z niej nie korzystam, tylko korzystam właśnie z tego Bing Chatu, który całkowicie gdzieś tam pomija tego Bing Searcha tak naprawdę i robi to bardzo dobrze. Google pewnie też by mogło robić to bardzo dobrze, ale też do końca pewnie nie chce, bo znaczna większość przychodów tej firmy to są reklamy gdzieś tam powiązane z Searchem. więc tutaj pewnie mają dużo cięższy orzech do zgryzienia. Jak sobie z tym poradzić, jak tutaj zintegrować potrzeby gdzieś tam stakeholderów, czyli oczywiście przychody z potrzebami użytkowników, czyli gdzieś tam z najlepszym możliwym Jestem ciekawy jak oni z tego wybrną, czy w ogóle z tego wybrną. Powiem Ci, że ten experience, jak mówię, w tym bingu naprawdę jest mega przyjemny, jeszcze dostajemy te źródła na końcu, można sobie kliknąć i przejść bezpośrednio na stronę, całkowicie pomijając ten search. Jestem ciekawy jak to będzie wyglądało.

Przemek:

Może powiedzmy jeszcze w trzech zdaniach o co chodzi z tym konfliktem pomiędzy modelami biznesowymi i z Googlem i z reklamami, o czym wspomniałaś. Do tej pory Google opierał się bardzo mocno na przychodach z reklam, a reklamy pojawiały się w wyszukiwarce jako pochodna fraz, które użytkownik wyszukuje. I celem Google’a od jakiegoś czasu nie było to, żeby przedstawić użytkownikom jak najbardziej precyzyjne rezultaty, to znaczy te rezultaty się pojawiały na liście wyników, ale były też wzbogacane reklamami. Ogólnie suma tych wyników, które użytkownik dostawał to było troszkę reklam, troszkę wyników podobnych, bo jeszcze firmy mogły się wypromować poprzez słowa kluczowe i kilka tych wyników, które Google ma w sobie zaindeksowanych. Tymczasem, kiedy do gry wchodzą modele językowe i takie narzędzia jak chat GPT, to społeczność mówi, że największą wartością tych narzędzi jest to, że ja dostaję natychmiast te informacje, o które mi chodzi, że modele językowe są w stanie wyekstrahować te najważniejsze informacje z jakiegoś datasetu. I niekoniecznie zależy mi na tym, żeby obok wyników pojawiały się reklamy albo pojawiały się jakieś powiedzmy pochodne tych informacji. Mówimy nawet o halucynacjach, czyli o błędnych informacjach, z którymi tak naprawdę cała ta branża walczy, co jest jakby wprost nazwane efektem niepożądanym. To znaczy nie chcemy, żeby te modele proponowały nam jakieś wyniki, powiedzmy, lekko odbiegające od tego, czego wyszukujemy. To się dzieje, zaczynamy z tym walczyć, pojawiają się papiery naukowe, ale ogólnie chodzi o precyzję. No więc Google stoi teraz przed mocnym dylematem tego, co zrobić ze swoim core’owym modelem biznesowym. O ile pamiętam, około 80% przychodów Google’a to są reklamy. Mogę się tutaj mylić, może ktoś to zweryfikować i dać znać w komentarzach pod naszymi filmami, ale bodajże 80 albo nawet 85% revenue Google’a to są reklamy. No i teraz zobaczcie co się stanie, kiedy po prostu modele językowe zaczną napędzać AI, w jaki sposób będziemy mieć duże wyzwanie UX-owe, żeby po prostu te precyzyjne wyniki z tym modelem biznesowym, na którym opierał się Google pogodzić. Myślę, że to też będzie bardzo ciekawa, powiedzmy, taka wojenka wewnętrzna, która będzie się toczyć w Google, jak tego AdSense’a i reklamy po prostu pogodzić z AI-em, bo sam Google powiedział, że on nie jest jeszcze na dzisiaj gotowy zrewolucjonizować searcha przez AI. To są eksperymenty, to są feature toggle, które sobie włączamy, to jest kilka promili prawdopodobnie użytkowników, którzy sobie mogą włączyć tego searcha napędzanego przez AI, no i tam będzie jeszcze sporo iteracji, żeby te dwa światy po prostu pogodzić, więc… Sporo się dzieje i znowu będziemy to wszystko obserwować. Pod kątem rozwoju produktów myślę, że to jest niesamowita, niesamowita lekcja.

Marcin:

Zgadza się, zgadza się. I tutaj możemy tak naprawdę płynnie przejść do kolejnego tematu, czyli do firmy, która korzysta bardzo na tej całej konkurencji, na tej gorączce. Jest to oczywiście Nvidia i dosłownie w tym tygodniu dość zostało głośno okrzyknięte, że firma przekroczyła jeden bilion dolarów, bo to jest trilion po angielsku, czyli bilion po polsku. Tutaj zawsze te tłumaczenia są gdzieś tam wyzwaniem.

Przemek:

Dragons ahead.

Marcin:

Dokładnie, ale chyba daliśmy radę. No więc świetny wynik. 25% też wzrosła cena akcji, więc kto miał akcję gdzieś tam Nvidia to fajnie zarobił. Zresztą też podobne wyniki wykręcało Google i Microsoft w ostatnich miesiącach. Tutaj nie mówię, że się z tego cieszę.

Przemek:

Ale mrugasz okiem na nagranie.

Marcin:

Ale mrugam okiem i też gdzieś tam wcale nie mówię, że stawiam na obydwa konie jak typowy cyniczny gracz na rynku, bo to wydaje mi się, że jest obecnie najbardziej rozsądne.

Przemek:

To nie jest podcast inwestycyjny, nie przekazujemy tutaj żadnych porad, żeby było jasne.

Marcin:

Dokładnie, to nie są żadne porady. Tym niemniej Nvidia też świetnie sobie radzi, nie ma co się dziwić, bo oni gdzieś tam tak naprawdę zapewniają to, czego najbardziej nam potrzeba w tym świecie sztucznej inteligencji, czyli tej mocy obliczeniowej, tych CAD graficznych. I tutaj naprawdę pewnie zgodnie z przewidywaniami firmy będzie tylko lepiej, bo tak naprawdę ta cała kapitalizacja i cały ten wzrost nie jest jeszcze oparty o to, że już teraz im jakoś niesamowicie idzie, bo idzie im dobrze, gdzieś tam nawet trochę powyżej oczekiwań, ale nie ma jakiegoś wielkiego szału. Tym niemniej szał jest przewidywany na kolejne kwartały. i tutaj to firma bardzo gdzieś tam odważne gdzieś tam prognozy stawia do tego, jak będą sobie radzili, jaki będzie popyt na ich usługi, zwłaszcza gdzieś tam w zakresie data center. Więc zobaczymy, czy to się gdzieś tam zmaterializuje. Myślę, że jest to jak najbardziej możliwe. Tylko pamiętajmy, że też jakby obecny entuzjast to w dużej W dużym stopniu to jest bardziej wiara w przyszłość niż zadowolenie z teraźniejszości.

Przemek:

W tym momencie mamy małe cięcie w naszym podcastzie. W ostatnich minutach rozmawialiśmy z Marcinem o tym, jaka wartość tej kapitalizacji NVIDII jest tą prawdziwą, której możemy użyć w języku polskim, czy mówimy o miliardach, bilionach czy triliardach. Koniec końców, konkluzja jest taka, że NVIDIA dołącza do naprawdę elitarnego grona dużych firm technologicznych. Infrastruktura, którą dostarczają napędza rozwiązania, o których mówiliśmy wcześniej. No i o tym też mówi podsumowanie kwartalne, które Nvidia opublikowała w tym tygodniu, gdzie data center zaczynają być większym źródłem dochodów tej firmy niż gaming. Powiem szczerze, że ja osobiście nie śledziłem jakoś bardzo szczegółowo rozwoju firmy Nvidia, oczywiście pojawiało się coraz więcej informacji w kontekście gamingu, ale cały czas w mojej świadomości była to taka firma, która po prostu produkuje rozwiązania dla graczy. No i tutaj bardzo się pomyliłem, bo te rozwiązania dla graczy tak naprawdę stały się najpierw rozwiązaniami dla fanów kryptowalut, potem stały się rozwiązaniami dla fanów sztucznej inteligencji, no i teraz Nvidia mówi już o tym, że datacenter to jest ten główny koń pociągowy tak naprawdę tej firmy i niezależnie od tego, czy osiągnęli kapitalizację na poziomie biliardów, trilionów czy miliardów, która wydaje się za mała, No to, tak jak powiedziałem, wchodzę do tego grona firm, które naprawdę warto śledzić i tak naprawdę ustawiają się w pozycji Mety, ustawiają się w pozycji Google’a, ustawiają się w pozycji Apple’a i te kolejne lata na pewno do nich będą należyć.

Marcin:

Zgadza się. No i możemy przejść gdzieś tam do końca, czyli gdzieś tam sekcja książkowa, biblioteka, tym razem Przełka.

Przemek:

Kawka, herbatka.

Marcin:

Dokładnie tak. Przemek, opowiedz o książce, którą czytasz, Life 3.0, Maxa Tegmarka. Ja tej książki nie czytam, ale z chęcią się dowiem od Ciebie, jakie są Twoje wrażenia.

Przemek:

Live 3.0 od Maxa Tegmarka to jest pozycja, którą autor opublikował w 2017, w 2018 roku, w zależności od tego, jaką wersję czytamy. Jest to książka, która często pojawiała się w podcastach na temat sztucznej inteligencji, których słuchamy. Ja też nie miałem okazji jej do tej pory przeczytać, ale postanowiłem nadrobić zaległości i sprawdzić, w czym tak naprawdę rzecz. Sam Max Tegmark dał bardzo dobre wystąpienie u Lexa Friedmana, o którym z Marcinem też kiedyś na Offie rozmawialiśmy, pojawił się jakiś czas temu właśnie w tym podcaście. No i jest jednym z promotorów tego ruchu związanego z alignmentem sztucznej inteligencji, czyli tego jak sprawić, żeby sztuczna inteligencja służyła tak naprawdę ludzkości, żebyśmy za szybko nie zakończyli tej przygody z tą naszą planetą Ziemią na podstawie tych rozwiązań technologicznych, które tworzymy. Ale przechodząc do samej książki, książka tak naprawdę jest analizą tych ostatnich lat albo dekad rozwoju całej tej branży sztucznej inteligencji i próbuje też pokazywać możliwe kierunki rozwoju w kontekście ludzkości tej technologii. Głównym motywem przewodnim jest życie samo w sobie i taka próba odklejenia życia od komórek biologicznych albo od takiej formy biologicznej, do jakiej jesteśmy przygotowani. i przyzwyczajeni. I tutaj właśnie Tegmark mówi o tym, że jest sporo na świecie takich powiedzmy bytów albo punktów, które możemy obserwować, które nie są związane z żadną konkretną materią, ale możemy obserwować i badać ich cechy. I na przykład takim przykładem są fale. Niezależnie od tego, czy mamy fale na oceanie, fale dźwiękowe albo różnego innego rodzaju fale. to te fale mają częstotliwość, mają jakieś wierzchołki fal, mają tempo rozchodzenia się. I tak naprawdę niezależnie od tego, o jakiej fali mówimy, możemy te fale badać. I on jakby tutaj próbuje argumentować, że życie samo w sobie, to też jest coś takiego, co powoli wchodzi w taki etap. To znaczy materia biologiczna była taką formą transferu tego życia do tej pory, Ale wchodzimy w taki etap, że to ta forma bardziej technologiczna i ta materia powiedzmy związana z krzemem i z komputerami zaczyna to życie przenosić. No i oczywiście w tym momencie można by było się zacząć kłócić, że to bzdura i to jest jakieś powiedzmy obrazu burcze. Ale naprawdę, jak obserwuje się rozwój tych technologii, jak obserwuje się rozwój modeli językowych, to warto się nad tym konceptem zastanowić i warto pomyśleć, czy te dyskusje, które teraz widzimy, czy te artykuły, które piszemy, gdzie tak naprawdę o modelach językowych wypowiadamy się jak o ludziach tak naprawdę, bo trzeba to wprost powiedzieć, że np. negocjujemy z kimś, pytamy kogoś o zdanie, nadajemy jakiś kontekst rozmowie, próbujemy rozmowę kreować w taki sposób, o który nam chodzi, Czy to nie jest jakaś forma interakcji z życiem? Oczywiście to jest jeszcze metafora i jakiś obraz literacki, o który autorowi chodziło. Natomiast to w tej książce poruszyło mnie najbardziej. Z takiej strony czysto technicznej, to w tej książce przechodzimy przez różne gałęzie przemysłu, przez różne gałęzie gospodarki, dowiadujemy się tego, jak po prostu sztuczna inteligencja może zmienić poszczególne aspekty naszego życia. Nie wiem, energetykę, wypoczynek, to jak spędzamy wolny czas, to jak pracujemy itd., nasze relacje międzyludzkie. Ale chyba takim najbardziej wartym zastanowieniem się obrazem jest to właśnie, co się stanie z tym życiem, też w takim kontekście może bardziej filozoficznym. Oczywiście każdy z tej książki wyciągnie coś innego. Dla mnie to jest taka pozycja 300 stron nieco warto dodać, którą po prostu warto sprawdzić. Nie powiem, że poradziła sobie z wszystkimi moimi wątpliwościami a propos Doomsdaya spowodowanego superinteligencją, bo dalej myślę, że jest ten gap pomiędzy poziomem super, a podbojem świata. Dalej nie wiem, co tam się po środku dzieje, chociaż bardzo szybko przeskakujemy między tymi dwoma światami. Ale jest to pozycja warte sprawdzenia. Sam autor to jest też profesor na MIT, który zajmuje się kosmologią, fizyką kwantową, więc nie jest to, powiedzmy, przypadkowy pisarz, przypadkowy literat. Więc ja polecam na koniec w naszym kąciku bibliotecznym Life 3.0. Jak, Marcin, będziesz miał okazję, to po prostu sprawdzaj, Tak jak mówię, nawet na takim poziomie filozoficznym warto się czasami odkleić od kapitalizacji spółek, od technologii, od algorytmów i pomyśleć, co tak naprawdę się dzieje wokół nas, bo dzieją się ciekawe rzeczy tak naprawdę i historia się dzieje na naszych oczach, jak mówi klasyk po prostu.

Marcin:

Tak, tak, to prawda. Książka jest gdzieś tam na mojej liście, na pewno temat, który poruszyłeś jest tematem niesamowicie istotnym, na które pewnie wielu filozofów, zarówno tych zawodowych, jak i domorosłych, takich jak również i my, będzie musiało odpowiedzieć w XXI wieku już pewnie. Jest to bardzo kontrowersyjne i nieoczywiste. Pewnie będzie wiele zażartych sporów o to, czym to życie jest. Zresztą wiele będziemy musieli rzeczy pewnie przedefiniować. Też fajnie w podcaście również u Rexa Friedmana Steven Worf tam tłumaczył, że tak samo gdzieś tam będziemy musieli trochę zmienić podejście do programowania i obliczalności, bo tak jak się przyzwyczailiśmy, że to są operacje na liczbach albo na składni języka programowania, no to teraz nagle się otwiera nowa furtka gdzie to język naturalny gdzieś tam jest miejscem, gdzie my wykonujemy obliczenia i gdzieś tam zastanawiamy się nad tym, jak ta rzeczywistość działa, bo akurat takie gdzieś tam otrzymaliśmy kompilatory czy też, mam to na myśli oczywiście, LLM-y, więc to na pewno jest gdzieś tam puszka pandory, którą trochę otwieramy. Będzie wiele dyskusji zażartych. Wydaje mi się, że warto się nad tym zastanawiać, bo to może mieć bardzo duży wpływ na to, jakie też będzie potem zastosowanie tego takie w praktyce. I też właśnie jakie będziemy tworzyli regulacje i tak dalej i tak dalej, bo to tak naprawdę się wpada do tego, co my sądzimy o tej technologii, czym ona jest, jaki ona ma wpływ na społeczeństwo i co to w ogóle na nas znaczy jako do ludzkości. Dobra i tym podniosłym myślę gdzieś tam wnioskiem możemy zakończyć. Dziękujemy za udział, za przesłuchanie naszego pierwszego podcastu, który był podsumowaniem miesiąca maja w 2023 roku. Wiele się działo. Będziemy do Was wracali z podsumowaniem czerwca i kolejnych miesięcy. Dziękujemy za uwagę. Oczywiście doceniamy wszelkiego rodzaju 5 gwiazdek na platformach podcastowych. Jakieś lajki, subskrypcje, share’y, żeby ten podcast się niósł daleko i szeroko. Tak więc z góry dzięki. Wszystkiego dobrego. Pozdrawiamy.