Olimpijskie srebro dla Google AI, OpenAI tworzy SearchGPT, a Meta ma LLamę 3.1 | Lipiec 2024

Przemek:

Witamy Was w szesnastym odcinku podcastu Opanuj.ai. Witają się z Wami - Przemek Smyrdek i Marcin Czarkowski.

Marcin:

Cześć.

Przemek:

Jak co miesiąc zaprezentujemy dla Was całą garść informacji ze świata sztucznej inteligencji i uczenia maszynowego. Przejdziemy przez przygotowany niedawno format szybkich newsów z rynku, następnie trzech tematów odcinka, no i mamy też kilka ogłoszeń, które pomogą nam budować społeczność, która do tej pory gromadziła się i cały czas gromadzi się wokół naszego podcastu. To jak zwykle zachęcamy Was do odwiedzenia strony Opanuj.ai, czyli takiej osi tej naszej działalności, gdzie poza podcastem znajdziecie między innymi newsletter, gdzie możecie się zapisać i co poniedziałek otrzymywać trzy linki ze świata sztucznej inteligencji, ale również opis naszej oferty warsztatowej. Jeśli chcecie pogłębić wiedzę o sztucznej inteligencji i chcecie popracować nad rozwiązaniami właśnie z tej domeny, no to umawiajcie się na darmowe konsultacje. My bardzo chętnie z wami porozmawiamy, zobaczymy, czy to są rozwiązania, które są dopasowane do waszych firm. No i być może popracujemy w takiej dłuższej formie nad zdobyciem nowych kompetencji. Postaramy się te kompetencje przekazać w jak najlepszy sposób. Zapraszamy też do uczestnictwa w konferencji MLin.pl. To jest ósma edycja corocznej konferencji, która łączy świat akademicki i biznesowy właśnie w kontekście sztucznej inteligencji i uczenia maszynowego. My w zeszłym roku nawiązaliśmy współpracę z organizatorami tej konferencji. Udało nam się to wydarzenie odwiedzić. Jest to coś, co naprawdę będziemy polecać, bo agenda jest mocna, agenda jest napakowana. W tym roku pomiędzy 7 a 10 listopada można uczestniczyć właśnie w ML in PL 2024, więc jeśli chcecie wziąć udział w tym wydarzeniu, to warto sprawdzić stronę konferencji MLIN.pl. A jeśli chodzi o tematy dzisiejszego odcinka, to zaraz oddam głos Marcinowi, który przeprowadzi Was przez taką. piętkę flash newsów, czyli takich szybkich tematów, które możecie pogłębić na własną rękę, a następnie przejdziemy do trzech głównych tematów. I dzisiaj zaczniemy od srebra dla algorytmów Google DeepMind, olimpijskiego srebra olimpiady matematycznej, co jest dopasowane do tego okresu, w którym teraz jesteśmy. Porozmawiamy o konkurencji dla Google i Perplexity, czyli Search GPT, a także zrobimy przegląd nowych modeli, które jak zwykle pojawiały się również w lipcu. Co miesiąc w każdym odcinku taki przegląd modeli robimy. I kończymy naprawdę mocną ekipą, bo mamy GPT-4O mini, mamy nowe modele od Mistrala i Lamy od Mety, co będzie początkiem, myślę, jeszcze całkiem interesującej dyskusji o Open Source AI i o AI Act, który również w tym podcastie musi się pojawić. Udostępniajcie ten nasz podcast, oceniajcie go na 5 na 5, dawajcie znać algorytmom, że po prostu warto nas słuchać. No i zachęcam do pozostania do samego końca. Teraz Marcin właśnie otwiera odcinek. Posłuchajcie o tym, co wydarzyło się w ostatnim miesiącu.

Marcin:

Dzieje się bardzo dużo, mimo że mamy sezon wakacyjny, no to branża AI nie zwalnia zgodnie z naszymi przewidywaniami z poprzedniego odcinka. Zacznijmy od OpenAI producenta ChataGPT, który pracuje nad nowatorskim podejściem do swoich modeli sztucznej inteligencji w ramach projektu o kryptonimie Stroberem, czyli Tuskawka. Wcześniej prawdopodobnie ten projekt był określany w półświatku twitterowym exowym jako Qstar i to właśnie miała być ta innowacja, którą zobaczył Ilya, która go wystraszyła. i ze względu na którą finalnie odszedł z firmy i rozpoczął własny projekt. Chodzi o to, aby te modele były w stanie planować swoje działania w czasie i jako agenci potem te zadania wykonywać. To ma być niezbędne do tzw. głębokiego researchu. do pełnej niezależności tych modeli, no więc realnie otwiera to zupełnie nowe możliwości dla modeli językowych. Póki co to jedyne co wiemy na temat OpenAI strobery. Czas pokaże, czy będzie to właśnie główna innowacja, którą przyniesie nam GPT-5. Następnie przechodzimy do filmu. Runway, która zasłynęła z modeli do produkcji wideo za pomocą promptów. Ostatnio pojawiła się nowa generacja ich modeli, która robi niesamowite wrażenie. Jest to chyba obecnie najlepszy tego typu model dostępny na rynku. No, ale niestety firma, albo i też wstety spotkała się z oskarżeniami za korzystanie z treści dostępnych na YouTube do trenowania własnych modeli. Takie doniesienia przygotowała firma 404 Media, która uzyskała dostęp do dokumentu, gdzie były wskazane konkretne materiały źródłowe. No i pochodziły one od znanych film, znanych twórców, takich jak Disney, Netflix, Sony, czy też twórców Casey Neistat. Benjamin Handman czy też MKBHD. Tak więc sprawa wygląda nieciekawie dla firmy Runway. No i trzeba przyznać, że bardzo możliwe, że oni się faktycznie tego dopuścili, no bo skądś te dane treningowe muszą brać. To oczywiście budzi duże wątpliwości etycznej, moralnej, ale również biznesowej. Chociaż takich wątpliwości nie ma CEO działu AI w Microsoftzie, Mustafa Suleyman, który twierdzi, że treści ogólnie dostępne w internecie należy uznawać za freeware, który powinien być dostępny do trenowania modeli AI. Tak więc dość radykalna opinia na ten temat. Czekamy na Wasze opinie w komentarzach. Co Wy o tym sądzicie? Czy takie podejście do treści dostępnej w internecie jest właściwe? My jako twórcy myślę, że jesteśmy trochę innego zdania. Fajnie gdyby korporacje, które będą czerpały duże zyski, jakkolwiek dzieliły się tymi zyskami z twórcami. Zostajemy przy Microsoftie. Tym razem firma dodaje te podsumowania AI, które Google zaprezentowało kilka miesięcy temu do własnej wyszukiwarki Bing. Tak więc, kiedy wprowadzamy frazę, kiedy szukamy jakiejś treści w wyszukiwarce Bing, jeżeli ktokolwiek z Was w ogóle z niej korzysta, no to jest szansa, że zobaczy krótkie podsumowanie przygotowane przez AI, które następnie prowadzi do pełnych rezultatów dostępnych na stronach, z których te modele Microsoftu skorzystały. Co Microsoft zrobił inaczej od Google? No to nie zdecydował się na masowy rollout, tylko stopniowo wprowadza tą funkcję do małej ilości użytkowników, co wydaje się rozsądnym podejściem i szansą na uniknięcie takich obrażeń na reputacji, z jakimi spotkała się firma Google, która finalnie musiała tą swoją innowację dość szybko wycofać z własnej wyszukiwarki. Następnie dostajemy pierwsze nowości związane z Apple Intelligence, ale w wersji dla deweloperów. Tak więc deweloperzy już mogą się przygotowywać na nową wersję Siri, na edycję tekstu i na automatyczne odpowiedzi na wiadomości. Ten update jest tylko dostępny na najnowszych urządzeniach Apple’a, iPhone’ie 15 Pro i Max i urządzeniach M1 Plus, jeżeli chodzi o Mac’i. O czym już wspominaliśmy, póki co nie zapowiada się, aby te update’y miały dotyczyć nas, mieszkańców Unii Europejskiej, ponieważ trwa spór pomiędzy Apple, a właśnie Europarlamentem, Komisją Europejską itd. Jeżeli cokolwiek się w tym temacie zmieni, to będziemy dawali o tym znać. I na końcu news, który był bardzo kontrowersyjny, który wywołał dużo kontrowersji, zwłaszcza w Stanach Zjednoczonych. Mianowicie, Elon Musk podał na swoim profilu deepfake’a, który podrabia spot Kamali Harris w sposób jawnie prześmiewczy, wskazując tutaj wszystkie argumenty, którzy przeciwnicy tej prawdopodobnie kandydatki na prezydenta mają jej za złe. No więc i tam wykorzystano oczywiście prawdziwy głos, znaczy nie prawdziwy, a podrobiony przez EA głos Kamali Harris, która sama przyznaje te wszystkie ujmy i problemy, które widzą właśnie zwolennicy Donalda Trumpa. No nie ma co ukrywać. Jaki był problem? Elon Musk w żaden sposób nie oznaczył, że jest to parodia wygenerowana przez EA, a sam sport był przygotowany na tyle, wysokiej jakości, że mogło to wprowadzić w błąd odbiorców. No i tu również pojawia się cały problem z tym, czy takie treści w ogóle powinny być legalne, a czy jeżeli je udostępniamy, to czy nie powinniśmy wprost pisać, że jest to treść wygenerowana przez AI, aby nikogo nie wprowadzać. Jeden z demokratycznych gubernatorów, Gavin Newsom, na bazie tej sytuacji zapowiedział, że wprowadzi zakaz manipulacji głosem w reklamach w stanie Kalifornia. Jeżeli chodzi o tą sytuację, to w Europie ona już za rok raczej nie miałaby miejsca, przynajmniej legalnie, no bo AI Act faktycznie wymaga, aby tego typu treści oznaczać za pomocą jasnego właśnie komunikatu. I to akurat uważam, że jest jak najbardziej dobrym ruchem, no bo w przypadku takich spraw dotyczących dobra publicznego nie warto ryzykować wprowadzaniem kogokolwiek w błąd. Tyle jeżeli chodzi o newsy z lipca. No i teraz przechodzimy do tematów odcinka. Pierwszym z nich jest srebro w Olimpiadzie Matematycznej dla algorytmów DeepMind. Przemek opowiedz więcej, co się wydarzyło.

Przemek:

Znajdujemy się w okresie igrzysk olimpijskich, więc postanowiliśmy rozpocząć również, można powiedzieć, do takiego tematu sportowego. Jednak tutaj tą dyscypliną będzie matematyka, a nie bieganie albo rzut oszczepem. No ale olimpiady, igrzyska olimpijskie to są właśnie takie konkursy, wydarzenia, które pokazują bieżące możliwości uczestników. Widać jak sprinterzy dobrze sobie radzą na bieżni, widać jak kolarze szybko jeżdżą na rowerze. A olimpiady naukowe, na przykład olimpiady matematyczne, Pokazuję jak uczniowie radzą sobie z problemami na określonym poziomie. który kraj w danej olimpiadzie przewodzi i który kraj najlepiej radzi sobie z olimpiadą, np. z chemii, z fizyki czy z matematyki. No i właśnie ta olimpiada z matematyki stała się jednym z takich głównych tematów ostatniej publikacji DeepMind, czyli takiej komórki Google, który specjalizuje się w tematyce sztucznej inteligencji. No bo właśnie DeepMind, czyli już teraz zespół pracujący pod organizacją Google, pod Alphabetem, opublikował dwa nowe modele, które w tej olimpiadzie matematycznej osiągnęły naprawdę istotne rezultaty. Mowa tutaj o modelach AlphaProof i AlphaGeometry2, które osiągnęły wyniki, które wcześniej wydawały się niemożliwe tak naprawdę do osiągnięcia. a właściwie nieprawdopodobne, bo niemożliwe to jest być może zbyt mocne stwierdzenie, ale jak zaraz wam opowiemy, sporo użytkowników pewnego portalu, na którym obstawia się tego typu wydarzenia, po prostu nie dowierzało, że w najbliższej przyszłości takie wydarzenie będzie miało miejsce. Ale po kolei, jak to właściwie wygląda, jeśli chodzi o sprawność, sprawczość czy niezawodność modeli sztucznej inteligencji? My w naszych odcinkach wielokrotnie mówiliśmy o benchmarkach, czyli takich standardowych testach, na podstawie których testuje się modele sztucznej inteligencji i one oceniają zdolności w poszczególnych kontekstach. Mamy np. benchmarki, które oceniają zdolności logicznego myślenia, rozumowania, wiedzy ogólnej, generowania kodu, programowania, może nabywania nowych umiejętności, rozpoznawania jakichś wzorców. czy właśnie poszczególnych obszarów nauki, w tym matematyki. Matematyka tutaj wydaje się o tyle istotna, że zdolności matematyczne mogą nam odblokować po prostu postęp w wielu innych obszarach. Matematyka to jest taki uniwersalny, formalny język, którym naukowcy się komunikują. przez który przekazują sobie informacje, opisują swoją rzeczywistość, opisują poszczególne problemy. Jeśli dobrze poradzimy sobie właśnie w kontekście tej matematyki, no to może się okazać, że implikacje tego osiągnięcia, implikacje nabycia tych umiejętności matematycznych mogą być zdecydowanie szersze. One nie muszą być ograniczone do tej jednej domeny. No i do niedawna wydawało się, że właśnie to pole matematyki jest jednym z tych, gdzie nadal będziemy jednak doceniać umiejętności ludzi, szczególnie tę ludzką kreatywność, łączenie faktów, łączenie kropek z różnych dziedzin, z różnych problemów. a modele sztucznej inteligencji będą się zajmować innymi tematami, procesowaniem tekstu, może generowaniem obrazków, może jakąś klasyfikacją informacji, a ta matematyka będzie czymś, co po prostu dopiero w kolejnych latach gdzieś tam złamie się pod tym, jak rozwijają się te modele sztucznej inteligencji. To wydaje się być całkiem sensowne. To ma też swoje odzwierciedlenie w tym, jak obstawiają ludzie, jak obstawiają osoby, które właśnie śledzą ten rozwój sztucznej inteligencji. Mamy taki serwis internetowy Manifold, gdzie można składać tak zwane bety na zadawane wcześniej pytania i tam jednym z takich betów, jednym z takich pytań, które się pojawiło, było to, czy sztuczna inteligencja zdobędzie brązowy albo srebrny medal na Międzynarodowej Olimpiadzie Matematycznej do końca 2025 roku. Co oznaczałoby mniej więcej tyle, że do końca 2025 roku te zdolności matematyczne sztucznej inteligencji wyrównałyby się z genialnymi uczniami szkół średnich. Bo tak to trzeba rozumieć, ta Olimpiada Matematyczna to są konkursy dla uczniów szkół średnich. No i jeszcze do niedawna, tak naprawdę do połowy lipca, tyle samo użytkowników twierdziło, że tak i tyle samo użytkowników twierdziło, że nie. Mieliśmy takie 50-50, gdzie połowa użytkowników dowierzała w potencjał sztucznej inteligencji, a połowa użytkowników twierdziła, że właśnie osiągnięcie tego brązowego medalu albo srebrnego medalu jest tak naprawdę niemożliwe, no bo tak jak wspomniałem ta matematyka wydawała się czymś, gdzie jednak ta kreatywność jest wymagana, to ludzie mają tę kreatywność, ludzie są w stanie łączyć fakty i informacje, a nie modele sztucznej inteligencji, które się trenuje na jakichś statycznych, przewidywalnych danych. No i tutaj Mamy niespodziankę, bo 25 lipca Google postanowił udzielić odpowiedzi na to pytanie, postanowił rozwiązać ten bet, publikując modele, które nie tylko zdobywają brąz w Międzynarodowej Olimpiadzie Matematycznej, ale zdobywają srebrny medal, zbliżając się na jeden punkt do złota. Co by to oznaczało? Oznaczałoby to tyle, że modele, o których zaraz powiemy więcej, są w stanie na tyle dobrze współpracować na tych problemach, które w tej Olimpiadzie Matematycznej się pojawiają, że pracują właśnie na poziomie takich genialnych uczniów szkół średnich. Jak widać zbliżamy się z każdą kolejną wersją modelu właśnie do coraz wyższych poziomów edukacji. Jakiś czas temu mówiło się o kilkulatkach, którzy są na tym samym poziomie co modele sztuczne inteligencji. Teraz mówimy o uczniach szkół średnich. GPT-5, tak jak Marcin wspominał w poprzednim odcinku, miałoby gdzieś dorównywać poziomę tym, którzy się doktoryzują, są jeszcze wyżej właśnie na tej swojej ścieżce naukowej. No ale to jest pieśń przyszłości, na dzisiaj mamy ten poziom uczniów szkół średnich, więc teraz chcemy wam troszkę więcej powiedzieć o tym wydarzeniu, chcemy wam powiedzieć więcej, co to właściwie jest ta Olimpiada Matematyczna, jak wyglądają te zadania, które znajdziecie w środku i co właściwie zrobił Google, żeby ten srebrny medal zdobyć. No więc mamy Międzynarodową Olimpiadę Matyczną International Math Olympiad, która jest najbardziej prestiżowym konkursem dla uczniów szkół średnich. który właśnie sprawdza zdolności matematyczne uczniów z praktycznie całego świata, bo na teraz w tej olimpiadzie bierze już udział ponad 100 krajów i ona się odbywa od 1959 roku. Mamy więc takie mistrzostwa świata w matematyce, w ramach których uczniowie realizują 6 zadań w każdym roku przez 10 dni. Mamy dwie sesje, te sesje trwają po 4,5 godziny. W trakcie tych 4,5 godziny dostajesz 3 zadania. Taki cel musisz zrealizować dwukrotnie, więc masz te 6 zadań. No i na koniec uzyskujesz jakiś wynik. Zakres zadania jest bardzo szeroki, bo on obejmuje wiele obszarów matematyki, które właśnie trzeba połączyć. Trzeba umieć się pomiędzy nimi płynnie poruszać, żeby te zadania rozwiązywać. Mamy algebrę, kombinatorykę, mamy geometrię, mamy teorię liczb. A więc taką kombinację zadań i problemów, które są nieoczywiste mówiąc wprost, to znaczy to nie jest tak, że przeczytamy jakiś podręcznik, będziemy mieć jakiś tekst z internetu, tam znajdzie się to zadanie, które mamy na olimpiadzie, więc skopijemy sobie jeden do jeden to rozwiązanie. Nie, musimy zdecydowanie bardziej ruszyć szarymi komórkami, musimy łączyć fakty i być w stanie wypracowywać jakieś kreatywne rozwiązania. No i cała ta olimpiada matematyczna była właśnie czymś, co miało być kolejnym takim kamieniem milowym dla modeli sztucznej inteligencji, no bo tutaj z jednej strony właśnie te modele powinny być w stanie interpretować te złożone, nieprzewidywalne zadania, a z drugiej strony musiałyby proponować rozwiązania właśnie bazujące na kreatywności. A ta kreatywność, o czym też wielokrotnie wspominaliśmy, jest jeszcze na dzisiaj dość ograniczona, bo jeśli czegoś nie ma w zbiorze treningowym, To wcale nie jest takie oczywiste, że z tym modelem na dany temat, który poza tym zbiór treningowy wybiega, będziemy mogli porozmawiać, a już nie mówiąc o takich informacjach, które są dostępne w czasie rzeczywistym. No więc mamy interpretację problemów, mamy kreatywność, czyli coś, w czym stosunkowo dobrze radzili sobie do tej pory Licealiści? Sztuczna inteligencja musiała poczekać na swoją kolej, ale teraz okazuje się, że dzięki osiągnięciom Google’a możemy mówić o zdolnościach na poziomie genialnych uczniów szkół średnich. I co tutaj właściwie zrobił Google? Tak jak wspomniałem, Google opublikował dwa modele. które ze sobą współpracują, żeby rozgryźć problemy z tej olimpiady matematycznie. Mamy Alphaproof i Alphageometry. Te modele były połączone z innymi wcześniejszymi osiągnięciami Google’a, m.in. z modelem Gemini, z algorytmem AlphaZero, czyli z tymi osiągnięciami, z których słynie firma DeepMind, czy to jeśli chodzi o interpretację języka naturalnego, czy to jeśli chodzi o konkursy, szachy, gry w go i inne tego typu przedsięwzięcia czy wydarzenia. Cała ta technologia została połączona i Google postanowiło się zmierzyć właśnie z zadaniami z tegorocznej olimpiady matematycznej. I tutaj Google na swoim blogu opisuje, że zbudował taki pipeline, taki duży scenariusz rozwiązywania tych problemów, który po prostu na poszczególnym etapie wybiera sobie technologię z całego tego portfolio algorytmów i modeli Google’a do tego, żeby problemy rozwiązywać. Na samym początku naukowcy z firmy Google, naukowcy z firmy DeepMind musieli właściwie zmapować te wymagania, które pojawiają się w olimpiadzie matematycznej na jakiś język, który rozumieją komputery, na jakiś język, który rozumieją maszyny. I tutaj właśnie na blogu DeepMind pojawia się wzmianka o języku LIN, czyli takim języku, który służy do właśnie formalnego opisu problemów matematycznych, problemów logicznych, takich sytuacji, gdzie chcemy wnioskować, udowadniać jakieś fakty itd. co potem może być interpretowane przez pozostałe algorytmy. Mieliśmy jakiś problem w tej olimpiadzie matematycznej. Następnie mieliśmy normalizację do tego języka lin. No i następnie mieliśmy zestaw modeli, które ze sobą współpracują, żeby ten problem rozwiązać. Ta skala jest naprawdę duża. Cały ten proces jest opisywany na blogu Google, na blogu DeepMind, więc tam możecie sobie poczytać więcej o technikaliach. My chcemy tylko powiedzieć o tym, jak wypadły te modele i chcemy też porozmawiać o być może potencjalnych konsekwencjach tego, jak my to widzimy. No więc tak, cała ta machineria, którą Google wraz z DeepMind wyprodukowały, potrzebowała trzech dni na udzielenie odpowiedzi na te zadania, z którymi sobie poradzono i tam konkretnie Zostały rozwiązane cztery zadania, za które Google uzyskał maksymalną ilość punktów, czyli 4x7, 28. Od 29 jest złoto, więc naprawdę blisko było tego, żeby uzyskać ten maksymalny wynik, żeby znaleźć się w tej elicie elit. No i wyglądało to tak, że spośród tych sześciu zadań, które były dostępne w tegorocznej olimpedzie matematycznej. Pierwszy z nich, ten pipeline od Google rozwiązał w trzy minuty, następne potrzebowało trzy dni, ale jeśli już dane zadanie rozwiązywał, to rozwiązywał je na maksymalną liczbę punktów. I właśnie stąd cztery rozwiązane zadania, cztery szóste, dwie trzecie można powiedzieć z całego takiego konkursu, co plasuje te modele i całą tę technologię, która została tutaj wdrożona na naprawdę wysokim miejscu, na naprawdę wysokiej pozycji, w porównaniu do ludzi, do uczniów, którzy po prostu brali też udział w całym tym przedsięwzięciu. Google tutaj wspomina na swoim blogu, że poradzono sobie z dwoma zadaniami, które zostały rozwiązane tylko przez pięciu uczestników ludzkich, że tak powiem. Dwoma najtrudniejszymi zadaniami spośród tych, które udało się. rozwiązać. Cała ta sytuacja tak naprawdę pokazuje kilka kwestii. Z jednej strony to, że został przekroczony kolejny, został osiągnięty kolejny taki kamień milowy jeśli chodzi o te zdolności modeli sztucznej inteligencji. Moim zdaniem pokazuje również to, że naprawdę Google ma spore dziedzictwo w całym tym temacie AI, uczenia maszynowego, łączenie technologii, wybieranie odpowiednich algorytmów do rozwiązywania tych problemów. To jest coś czym naukowcy w dużej skali mogą się zajmować. No i kurcze, wydaje się, że jednak ten poziom zdolności szkół średnich jest już w zasięgu AI. Nie są to najłatwiejsze problemy, nie jest to być może coś, co uruchomimy na naszym lokalnym komputerze, ale gdzieś tam w tej dużej skali jest to już możliwe. Myślę, że właśnie w tym okresie Olimpiady, w okresie Igrzysk Olimpijskich warto o tym poczytać. Na mnie największe wrażenie zrobił właśnie ten opis połączonych technologii, z których Google korzysta, gdzie jednostkowo można się czepiać, można zwracać uwagę na jakieś niedoskonałości. No ale całościowo widać, że jeśli ten pipeline, cała ta machineria po prostu zacznie ze sobą współpracować, to te efekty naprawdę robią wrażenie. Jak ty Marcin do tego tematu podchodzisz? Czy to jest coś, co twoim zdaniem będzie przyspieszać? Czy widzisz tutaj jakieś limity jeśli chodzi o te osiągnięcia? Jak na to patrzysz?

Marcin:

Daleko mi od specjalizacji w matematyce, więc ciężko też wpływać mi się z pozycji eksperta. Ale niewątpliwie są to postępy, o których jeszcze wiele osób obstawiają własne pieniądze na to, jak przyszłość będzie wyglądała. Co do tego się myliłam, więc widzimy tutaj swego rodzaju przyspieszenie względem oczekiwań. No i niewątpliwie jest to ekscytująca wizja przyszłości, w której naukowcy będą mogli korzystać z AI do twardej nauki, do matematyki, do fizyki, aby właśnie eksplorować hipotezy, aby szukać nowych rozwiązań. Z tego co wiem, takie tworzenie dowodów matematycznych jest bardzo czasochłonne, no i to jest coś, co będzie można wydelegować i być może w większym stopniu oddawać się takiemu kreatywnemu myśleniu, jakiemu np. oddawał się Einstein, tworząc swoje najważniejsze teorie. Jest to niewątpliwie ekscytująca wizja i oby się sprawdziła. Nie da się ukryć, że matematyka jest tą przestrzenią nauki, gdzie nie ma miejsca na halucynacje, jakieś wątpliwości. No więc byłoby to świetne uzupełnienie, usprawnienie dla modeli językowych, aby one tego typu zadania mogły do takich systemów jak właśnie Alphaproof delegować. Więc myślę, że niesamowity postęp ze strony Google, który co prawda na poziomie produktów miał w ostatnich miesiącach kilka istotnych wpadek, ale jak widać, kiedy schodzimy na grunt researchu, na grunt twardych badań, na grunt popychania branży AI do przodu, no to DeepMind po raz kolejny pokazuje swoją niesamowitą klasę, więc bardzo mnie to cieszy. i trzymam kciuki za dalsze postępy w tej naturze. Oczywiście to też będzie mogło się przełożyć na grunt programowania. Być może będziemy dzięki temu tworzyć bardziej solidny i niepodatny na błędy kod. To jest cała obietnica programowania funkcyjnego, które obecnie nie jest popularne. Jest cięższe z punktu widzenia programisty, jeżeli chodzi o szybkie pisanie kodu. Istnieje tego typu systemów, aby kod obiektowy móc na kod funkcyjny transformować, to byłoby to również świetne usprawnienie. Być może moglibyśmy uniknąć takich awarii jak tą, którą światu zafundowała firma CrowdStrike w ostatnich tygodniach. Tak więc raz jeszcze brawa dla DeepMind. Jest to ekscytujące. Zobaczymy, czy za rok uda im się zdobyć złoto. Wszystko wskazuje na to, że jest duża szansa, że tak się właśnie stanie.

Przemek:

Tutaj myślę, że warto jeszcze zwrócić uwagę na tę zapowiedź, która pojawia się właśnie też na końcu blog posta, mianowicie Google wspomina, że cała ta nauka, wszystkie te lekcje, które oni wyciągają z tego procesu, docelowo powinny wrócić do tych rozwiązań dla użytkownika końcowego, dla mnie, ciebie, dla każdego słuchacza tego podcastu. I to właśnie Gemini ma być takim interfejsem, przez który będziemy w stanie rozwiązywać coraz trudniejsze, coraz bardziej złożone zadania. Jakby Google widzi, że cały ten proces, który ja też próbowałem opisać, który ty też komentujesz, jest stosunkowo skomplikowany. Trzeba posiedzieć wszystkie kilka minut na tym blogu, trzeba poczytać te artykuły, trzeba tak naprawdę zastanowić się, o co tutaj tak naprawdę chodzi. Wizja Google jest taka, że docelowo w tym samym polu tekstowym, który już teraz ma Gemini, będziemy mogli w przyszłości zadawać pytania z matematyki, z innych nauk ścisłych i powinniśmy uzyskiwać podobne rezultaty bez całego tego narzędziownika, który my tutaj opisywaliśmy. Więc jak to zwykle bywa, research jest kilka kroków przed tymi usługami, które są dostępne już dzisiaj w przyglądarce, ale co jakiś czas z tych badań, z tego rozwoju w stronę użytkownika, w stronę Janka Kowalskiego coś kapie. To jest myślę też coś takiego, nad czym polskie instytucje myślą, na co się zwraca uwagę, że jednak trzeba robić ten research czasami w nieprzewidywalnym kierunku, żeby móc zrobić ten krok wstecz i rozwijać te usługi, z których korzystamy na co dzień. Nie ma innej opcji, nie wszystko można zaplanować, nie wszystko można opisać roadmap-ą. czasami potrzeba po prostu komfortowych warunków dla naukowców, co tutaj taka dygresja, co jak widać chociażby po planowanych inwestycjach w AI w Polsce, no może być jednak pieśnią przyszłości, bo te kwoty, które tam się pojawiają, o ile dobrze widziałem 200 milionów złotych, no to są takimi kwotami, które w Dolinie Krzemowej jednak zgarnie jedna firma, a nie cała branża, która zajmuje się sztuczną inteligencją, więc Liczymy na to, że w Polsce ten research też pójdzie do przodu, liczymy, że te inwestycje będą zdecydowanie większe. Będziemy patrzeć na to, jak Google będzie usprawniał swoje usługi, bo do tej pory był to trochę taki chłopiec zdobicia, niestety w tych naszych rozmowach. My tutaj nie ukrywamy, że do tej pory byliśmy w fanklubie OpenAI, ale wydaje się, że tutaj plany też są ambitne i być może w przyszłości ta cała nasza narracja się po prostu zmieni.

Marcin:

Kolejnym tematem naszego odcinka jest zapowiedziane SearchGPT, czyli wyszukiwarka napędzana przez AI, tworzona obecnie przez OpenAI, która oczywiście ma złamać monopol Google na rynku wyszukiwarek właśnie. Będzie to nowa sekcja, nowa część produktu Chart GPT. Pojawi się w pasku bocznym. Obok custom GPT będziemy mieli nową sekcję, czyli search GPT. No i tam będziemy mogli zadawać pytania za pomocą języka naturalnego. I zamiast otrzymać listę kilkunastu niebieskich linków z odnośnikami do stron internetowych, będziemy otrzymywali bezpośrednią odpowiedź od modelu językowego, który będzie nam wskazywał źródła. podsumowanie tego, co jest istotne z naszego punktu widzenia, no i dawało możliwość dalszego researchu, czy to za pomocą kolejnego prompta, kolejnego zapytania, czy przez przejście do wskazanych właśnie źródeł, aby pogłębić wiedzę na ich bazie. No i oczywiście ma być to forma multimodalna, wyniki nie mają być tylko tekstowe, ale również spogadzane przez przez obrazy, przez wykresy, przez wszelkiego rodzaju media i całość niestety póki co nie jest dostępna dla każdego z nas. Trzeba się zapisać na waitlistę i co ważne Tak samo dotyczy to użytkowników darmowych, jak i tych płatnych. Co gorsza, co trochę mnie dziwi, będąc użytkownikiem planu TIM, w ogóle nie mamy możliwości zapisania się na tą waitlistę. Mamy informację, że trzeba przejść na konto. prywatne, cokolwiek to znaczy. Ja takowego nie posiadam. No tutaj chyba widać jakieś słabości architektury samego zarządzania użytkownikami po stronie OpenAI. No bardzo szybko iterowali w ostatnich miesiącach. No i jak widać teraz słabości niektórych rozwiązań wychodzą na jaw. Ciężko inaczej mi to sobie wytłumaczyć. Tym niemniej tego typu rozwiązania, czy też sam temat łamania monopolu Google nie jest niczym nowym, bo na rynku od dobrych dwóch lat mamy do dyspozycji właśnie taki produkt, który nazywa się Perplexity. Działa on dokładnie w ten sposób, który opisałem i w który ma działać również Search GPT. Skąd takie zainteresowanie tym rynkiem wyszukiwarek? Myślę, że nie jest to specjalnie nic dziwnego, bo na tym została zbudowana potęga firmy Google i cały czas to właśnie z wyszukiwarki Google zarabia większość swoich pokaźnych przychodów. I teraz tak, o tym set GPT już słyszeliśmy pierwsze pogłoski kilka miesięcy temu. podczas tego nieoczekiwanego wydarzenia, które miało miejsce w maju, gdzie finalnie zobaczyliśmy GPT-4.0 i zapowiedź nowego voice mode. Wiele osób spodziewało się właśnie, że wtedy zostanie ukazane serce GPT. Nie było o tym produkcie słowa, ale dostaliśmy zapowiedź tego, że prace trwają kilka miesięcy później, właśnie w lipcu. O co w ogóle chodzi? Dlaczego jest to produkt innowacyjny, na którym tyle firm pracuje? Nie da się ukryć, że to do czego przyzwyczaiło nas Google nie jest gdzieś tam najbardziej korzystnym podejściem z punktu widzenia user experience. Jest to podejście, na które 30 lat temu wpadł Larry Page i Sergey Brin. Oczywiście na tamte czasy, na początki internetu, no to było to podejście innowacyjne. No, co zresztą widać po tym, jaki sukces osiągnęła wyszukiwarka Google’a. No, ale obecnie chat-boty, takie jak chat-GPT, jak Gemini przyzwyczaiły nas do tego, że raczej oczekujemy rozmowy w języku naturalnym, natychmiastowych odpowiedzi. No i jedyne, co nam w tym wszystkim przeszkadza, no to brak dostępu do aktualnych informacji i również ryzyko halucynacji. No i takie produkty jak Perplexity, jak CertGPT mają ten problem rozwiązać, dając nam właśnie to, co najlepsze z rozmowy w języku naturalnym, jednocześnie przynosząc twarde dane, twarde źródła i możliwość pogłębiania wiedzy za pośrednictwem naszych ulubionych, zaufanych portali, Wikipedii, blogów, czy też ston znanych mediów. Tak więc jest to na pewno coś, za co wiele osób będzie gotowe zapłacić. Zresztą widać to w popularności produktu, jakim jest Perplexity. Ja sam z niego korzystałem i cały czas korzystam. Naprawdę działa całkiem nieźle, chociaż trzeba przyznać, że bardzo zależy od tego akurat Wszystko zależy od tego, jakiego prompta wprowadzimy i jaki temat nas interesuje. Czasami te informacje są faktycznie bardzo aktualne i trafne, a czasami są rozczarowujące. Mimo wszystko przeskakuję do klasycznego Googla i tam kontynuuję swój research. Jestem ciekaw, czy OpenAI będzie w stanie podnieść poprzeczkę, wprowadzić tego typu produkty na kolejny poziom. Tak więc widać tutaj mocną rywalizację z Google’em nie tylko na gruncie samych LLM’ów, ale atak na sam core ich biznesu, który cały czas przynosi ponad 50% ich przychodów. Tak więc każdy będzie próbował trochę z tych miliardów dolarów uczknąć. Z Google’a zobaczymy, czy komukolwiek się uda. Perfect City radzi sobie naprawdę nieźle, zbierają kolejne rundy. finansowania, popularność tego produktu rośnie, no ale nie da się też ukryć, że wprowadza to swego rodzaju konflikt interesów, bo Perplexity właśnie jest istotnym klientem OpenAI. Może Przemek opowiedz więcej o tym, jaka jest relacja pomiędzy tymi dwoma firmami i w jaki sposób to może skomplikować sytuację, jeżeli chodzi o ich relacje biznesowe.

Przemek:

No nie wiem czy się zgodzisz, ale Perplexity to jest jeden z głośniejszych produktów, który opiera się na modelach, którymi sami tak naprawdę nie zarządzają. Tak naprawdę już te plany pricingowe wspominałem, że Perplexity ma własny model, ale jednak w tym planie profesjonalnym opierali się do tej pory głównie o modele OpenAI. No i jest to pierwszy powiedzmy owoc jakiejś takiej platformy, którą OpenAI budował, jakiegoś takiego marketplace’u, który OpenAI postanawia zaatakować w momencie, kiedy ten odnosi sukces. No bo tutaj Perplexity to jest firma, która przez dwa lata zdobyła kolejne rundy finansowania, zbudowała naprawdę silny brand, pokazała, że to wyszukiwanie może działać inaczej. No i pojawia się w wielu miejscach, które są można powiedzieć cool. Ja wiem, że to nie jest zbyt mocny argument, ale słuchanie chociażby CEO Perplexity u Lexa Friedmana, który mówi o tym, jaką ma wizję względem wyszukiwarek, jak właśnie to odnajdywanie treści powinno wyglądać, jakie są problemy z Googlem, to jest taki sygnał tego, że po prostu mamy firmę nowej generacji, która pojawia się w miejscach, gdzie gdzie spędzają czas fani nowych technologii, gdzie spędzają czas osoby, którym zależy na spędzaniu czasu w jakiś lepszy sposób, byciu bardziej produktywnym itd. OpenAI mówi, że słuchajcie, fajnie, że Wam wyszło, ale my teraz chcemy zrobić coś podobnego, więc jest to naprawdę zastanawiające. Jeśli chodzi o samo perplexity, Mamy tutaj kolejne rundy finansowania, mamy tutaj wyceny na poziomie 3 miliardów dolarów, mamy tutaj plotki o tym, że tacy giganci jak chociażby SoftBank, czyli firma, która stoi za wieloma produktami z Doliny Krzemowej, również w to perplexity chce je zainwestować. To jest bezpośrednia konkurencja, nie da się tego inaczej wytłumaczyć. Mamy po prostu produkt, który opiera się o model, produkowany, tworzony do tej pory przez firmę OpenAI, który teraz to OpenAI próbuje zduplikować, bo tak naprawdę ta zapowiedź, o której ty powiedziałeś, jest niemal identyczna względem tego, co Perplexity oferuje. Mamy mieć połączenie bazy danych, jakiejś bazy treści, z interpretacją języka naturalnego, który będą dostarczać modele językowe, LLM. Co prawda sytuacja poprawia trochę fakt, jeśli chodzi o Perplexity, że Perplexity też stara się już ucinać tę bezpośrednią zależność względem openinga i wspomina, że w planie płatnym będzie coraz więcej możliwości przepinania się na inne modele, więc oni też wiedzą, że żeby być stabilną firmą, która po prostu nie zostanie zjedzona w przyszłości, tak jak to już wiele razy bywało w przypadku platform, no musi szukać gdzieś powiedzmy takiej dystrybucji tego swojego rozwiązania, czy takiego rozproszenia tego swojego core value. Natomiast jest to na pewno jakiś sygnał, jest to coś co będzie zastanawiające dla wielu dużych przedsiębiorstw, bo nie mówię o małych startupach, małe startupy pewnie nie odczuwają tak dużych konsekwencji tego, że ich 2-3 tygodniowa inicjatywa gdzieś tam zostanie zaatakowana, ale w przypadku dużego biznesu wycenionego na miliardy dolarów no to może być już istotny problem. Ciekawe jest to, o czym również wspomniałeś, że właśnie były już w maju zapowiedzi zaatakowania tego pola, czy też świata wyszukiwarek. OpenAye nie zdecydowało się na ten krok, ale minęły zaledwie dwa miesiące, zaczynają się wakacje, kończy się lipiec, no i tutaj dostajemy wersję alfa, a więc ta inicjatywa po prostu musiała przez dłuższy czas się rozwijać w firmie. To nie jest tak, że na początku lipca ktoś zaprojektował search GPT, To musiał być projekt, który najpierw wyciekł z jakiegoś powodu pewnie to jego ogłoszenie zostało przesunięte w czasie. No i teraz widzimy, że sytuacja zaczyna się robić bardzo ciekawa. Ciekawy jest też wątek samych kontrowersji wokół wyszukiwarek, a to może tobie oddam głos, bo my też jako osoby, które tworzą blogi, opisują chociażby tematy związane z programowaniem. Zastanawiamy się na tym, jak LLM-y zmienią ruch na naszej stronie, popularność tych naszych stron, czy ktokolwiek będzie musiał wchodzić na przeprogramowanych. Jak ty ten temat w ogóle widzisz?

Marcin:

Jest to na pewno nieoczywiste i tutaj firmy takie jak OpenAI, jak Petplex City, czy jak Google i Microsoft, które na pewno również będą tworzyły własne odsłony tego typu usług, będą miały pole również właśnie do konkurencji i do zaproponowania modelu, który najbardziej będzie odpowiadał twórcom, którzy w innym przypadku zapewne będą szukali wszelkich możliwych sposobów, aby tego typu usługi blokować z korzystania z własnego kontentu. Czy będzie to w ogóle możliwe? Na jakiej zasadzie? No obecnie mamy te pliki robots.txt, ale czy one faktycznie są wykorzystywane? Co do tego również już się pojawiają pierwsze kontrowersje. Chodzą słuchy, że rozwiązania tworzone przez firmę Antropic skutecznie tego typu blokady omijają np. więc czas pokaże, czy faktycznie w tych wyszukiwarkach opartych o AI tego typu blokady będą respektowane. Jeżeli nie, no to tutaj pewnie… Unii Europejskiej będziemy mieli szansę na większe chronienie naszych praw, co akurat jest pozytywną częścią tego, jak Unia Europejska podchodzi do samego tematu AI. Pewnie w Stanach będzie wyglądało to trochę inaczej, w sposób korzystniejszy dla interesów korporacji. Ja mimo wszystko liczę na to, że Zostanie zaproponowany model, który zadowoli zarówno twórców jak i dostawców tego typu usług, no bo nie da się ukryć, jak już zresztą wspomniałem, takie podejście do researchu, do wyszukiwania informacji wydaje mi się naprawdę efektywne i może ono pozytywnie wpłynąć na to, jak się uczymy, jak zdobywamy informacje, jak robimy research. Tak więc czekam na propozycje. Zobaczymy, co z tego wszystkiego będzie. Niewątpliwie mamy do czynienia z kolejnym wyścigiem zbrojeń, zarówno na poziomie samych produktów, kto przygotuje najlepiej działającą usługę, i również kto zjedna sobie twórców, z kim twórcy będą chcieli współpracować. Mamy oczywiście cały czas ten problem halucynacji, który w przypadku korzystania z modeli językowych ma miejsce i zapewne będzie miał miejsce. Tutaj również zobaczymy, kto najlepiej sobie poradzi z tym, aby te wyniki były godne naszego zaufania. W przypadku Googla mamy dużo większe zaufanie co do tego, co faktycznie czytamy, no bo możemy polegać na reputacji konkretnego twórcy, konkretnej strony. Tutaj to wszystko się rozmywa, łączy w jedną całość. No i nie da się ukryć, że kiedy korzystając z Perspectivity, haucynacje zdarzały się nie raz, nie dwa. Dostawałem jakieś konkretne dane, a kiedy odnosiłem się do źródła, które zostało podlinkowane w ramach wskazania tychże konkretnych danych, były one zupełnie inne niż to, co zobaczyłem w wyniku. Tak więc tutaj jest cały czas duże pole do usprawnień. Zobaczymy, jak poradzi sobie z tym OpenAI. Tak więc zupełnie nowa kategoria produktów, zupełnie nowa kategoria konkurencji pomiędzy gigantami technologicznymi. Co z tego wszystkiego wyniknie zobaczymy. Nie da się ukryć, że pewnie firma Perpexity nie jest zadowolona z takiego obrotu sytuacji, chociaż nie da się ukryć, że być może bardzo dobrze się spodziewali, że prędzej czy później wszyscy czołowi gracze ze świata LLM-ów również ruszą i na tą niszę. Nie wiem, czy Przemek ma coś do dodania, czy przechodzimy do ostatniego tematu naszej dyskusji dzisiejszej.

Przemek:

Dosłownie słowo komentarza a propos tego, o czym mówi Itan Molik, czyli też osoba, którą często tutaj polecamy w tych naszych podcastach. Badacz sztucznej inteligencji, profesor, naukowiec. On ostatnio zwrócił uwagę, że w przypadku właśnie tych systemów opartych o modele językowe, czy też o bazy wiedzy, występują takie dwa problemy, które nie muszą być wcale oczywiste, jeśli chodzi o programistów i osoby, które tworzą tego typu rozwiązania. Znaczy, jeden był oczywisty, bo pojawiał się wcześniej, a drugi jest wprowadzany przez LLM-y i trzeba na niego zwrócić uwagę. Jakie to są problemy? No ten pierwszy problem polega na tym, że mamy jakiś dataset, mamy jakiś zbiór danych, wpisujemy do takiej wyszukiwarki zapytanie, no i wyszukiwarka mówi, że nie wie nic na dany temat. I to jest częsta sytuacja np. w eksploratorze plików na Windowsie, kiedy Windows nie jest w stanie nam pokazywać jakichś plików, czy w wielu innych wyszukiwarkach, tak? Np. to nasze zapytanie po prostu nie zwraca wyników, musimy zmodyfikować zapytanie i wtedy dostajemy te oczekiwane rezultaty. No ale Ethan Molik też zwraca uwagę, że jest drugi problem, czy też druga kategoria problemów, która jest raczej nowa dla większości użytkowników. I tutaj z tym trzeba będzie naprawdę powalczyć na polu UX-u, na polu interfejsu użytkownika. No i to jest taka sytuacja właśnie, o której Ty wspomniałeś, że dajemy zapytanie, wpisujemy jakąś querę, uzyskujemy wyniki, one wcale nie są prawdziwe, one nie są oparte na tak naprawdę niczym, co znajduje się w naszej bazie wiedzy, są właśnie efektem halucynacji. No i teraz pytanie, który użytkownik będzie w stanie to rozpoznać? My przez to, że pewnie rozmawiamy o tym temacie prędzej czy później gdzieś tam Będziemy w stanie się poruszać w tym świecie, a my też zachęcamy do tego, żeby jednak przede wszystkim wierzyć w domenie, na który się już dzisiaj znasz, a nie zawierzać po prostu tematem, które są zupełnie obce. Podam ten przykład, który często podaję. Gdyby mój wujek, ciocia, czy ktokolwiek z rodziny miał z takich rozwiązań korzystać, no to myślę, że większość tych wyników byłaby po prostu traktowana za prawdziwa. Jakby nie ma takiego nawyku sprawdzania, challenge’owania tego, co ci zwraca Google, bo tak jak ty powiedziałeś, no mamy właśnie to poleganie na danych źródłowych. Jeśli pojawia się jakiś wynik, on jest na onecie, mogę sprawdzić, że on faktycznie jest na onecie, no i wtedy mogę podjąć jakąś decyzję. No tu w przypadku tych wyszukiwarek jakby ta obietnica jest taka, że na pytanie pojawi się precyzyjna odpowiedź, No i teraz pytanie, czy będziesz chciał sprawdzić, czy ta odpowiedź właściwie ma jakikolwiek sens. No to jest dla mnie bardzo zastanawiające i też chętnie tutaj będę się przyglądał temu, jak te firmy będą tym wszystkim zarządzać, bo to jest po prostu taki czysto produktowy temat. Nie wiem, czy to na poziomie labelek, interfejsu użytkownika, może ty masz jakieś inne pomysły, ale myślę, że to jest coś istotnego, co jeszcze tutaj właśnie w tym temacie będzie się pojawiać w przyszłości.

Marcin:

Zobaczymy co czas przyniesie. Czekamy na szerszy rollout z ChargeGPT i możliwość zgłaszania dla użytkowników ChargeGPT Team. Tutaj też mały przytyczek dla OpenAI. Były obietnice, że użytkownicy tych planów premium będą mieli szybszy i gwarantowany dostęp do tych nowych funkcji. Tak naprawdę chyba ani razu się to nie stało. No może w przypadku funkcji, które były tylko dostępne do użytkowników premium, ale jeżeli coś jest zaortowane dla wszystkich, no to jakość tego operytetu do użytkowników płatnych nie zauważam.

Przemek:

Chcesz powiedzieć, że zastanawiasz się nad przepięciem subskrypcji?

Marcin:

Może tak, może nie. Prawda jest taka, że cały czas się zastanawiamy, bo obecnie płacimy zarówno za czata GPT, jak i kroda, a nie da się ukryć, że być może nie jest to najsensowniejsze podejście, przynajmniej na lipiec 2024 roku. Tak więc zachęcamy słuchaczy z firmy OpenAI, jeżeli jacykolwiek tutaj są, aby dbać o interesy użytkowników premium. I myślę, że teraz możemy przejść do trzeciego tematu naszego odcinka. Jest to tak naprawdę temat zbiorczy, bo lipiec obrodził nam w nowe, istotne modele sztucznej inteligencji, w duże modele językowe. I myślę, że takimi najważniejszymi premierami są dwa modele. Pierwszy z nich to jest GPT-4O Mini, czyli zastępca GPT-3,5 Turbo, który nie da się ukryć, królował jeżeli chodzi o produkcyjne zastosowanie. ze względu na swoją dużą szybkość i niską cenę. I właśnie z taką samą wartością na rynek wychodzi model GPT-4O mini, który ma niesamowite możliwości, tak naprawdę bliskie swojemu starszemu bratu, czyli GPT-4O. Duże okno kontekstowe, 128 tysięcy tokenów. I co najważniejsze, niesamowicie niską cenę, bo nie dość, że jest tańszy od GPT-4O, to jest też tańszy od GPT-3,5 Turbo i to 60%. No więc jest to śmiesznie tani model. 15 centów, jeżeli chodzi o input za milion tokenów. i 60 centów jeżeli chodzi o milion tokenów outputu. No więc jeżeli chodzi o aplikacje, zastosowania produkcyjne, no to myślę, że wielu twórców na to czekało. Nasz tutaj zaprzyjaźniony twórca Adam Overman na pewno zacierał ręce dodając ten model do swojego asystenta Alice i wielu różnych innych twórców. Również się na to cieszyło. My również się cieszymy. Otwiera to wiele furtek do innowacyjnych produktów, do tworzenia rzeczy, które nie dość, że robią wrażenie, to również najwyżej na świecie są rentowne. No i co istotne, te właśnie koszty to nie wszystko, jak wspominałem, niesamowite możliwości, nie rzucam tutaj na wiatr, to nie jest żaden marketingowy frazes, bo GPT-4O mini obecnie zajmuje drugie miejsce w rankingu LMSYS Czarpot Arena, który często w podcastach Opanuj Ejaj przywołujemy, no i który obecnie jest uznawany za najbardziej wiarygodny sposób, aby modele oceniać jak to działa. Tłumaczyliśmy wielokrotnie, więc tym razem sobie odpuszczę. Tym niemniej drugie miejsce w ogólnym rankingu nawet powyżej Cloud 3.5 Sonnet. Chociaż co prawda, jeżeli chodzi o niszę programistyczną, no to jest to miejsce trzecie właśnie za GPT 4.0 i Cloud 3.5 Sonnet. No więc niesamowicie wysoka jakość, jeżeli chodzi o tak niską cenę. Przebijamy wszelkiego rodzaju alternatywy z tej półki cenowej. Gemini Flash, Cloud Haiku, GPT 3.5, które zresztą zostaje wysyłane na zasłużoną emeryturę, bo to właśnie GPT 4.0 mini ma być następcą i kontynuacją, jeżeli chodzi o tani, szybki model ze strony OpenAI. Mamy dostęp nie tylko do tekstu, ale również do obrazu jako input i oczywiście ta pełna multimodalność, czyli wideo, audio jako output ma się pojawić w przyszłości. O czym możemy jeszcze powiedzieć? no to mamy dostęp do hierarchii instrukcji, czyli nowego, opublikowanego w jednym z paperze, podejścia, który na etapie treningu zwraca uwagę na jakie wiadomości priorityzować, a jakie powinno się ignorować, czyli nastawienie na bezpieczeństwo, również bardzo istotne jeżeli chodzi o zastosowania produkcyjne, co ściąga część zmartwień, problemów z deweloperów. i jest zarządzany już na poziomie samego modelu. Tak więc GPD 4.0 Mini to niesamowity hit. Na mnie zrobiło to niesamowite wrażenie. No i teraz może Przemek przywoła nowości ze strony firmy Mistral, czyli tej naszej perły Europy, francuskiej firmy, która jako jedyna gdzieś tam wiedzie prym, jeżeli chodzi o modele językowe pochodzące ze Starego Kontynentu.

Przemek:

Dokładnie tak, mówiliśmy o modelu zamkniętym, czyli GPT-4 All-Mini, teraz porozmawiajmy o modelach w cudzysłowie otwartych, bo z tą otwartością to też różnie bywa, ale jest to na pewno większa dostępność i otwartość niż w przypadku tego, co produkuje, co wystawia na świat OpenAI. No więc Mistral Perła Europy, ta nazwa już myślę, że przylgnie do tej firmy, Forever & Ever, Mistral wypuścił w lipcu dwa nowe modele. Mamy model mniejszy, który ma być zdecydowanie bardziej dostępny i ekonomicznie opłacalny od rozwiązań bardziej złożonych, no i mamy też Mistral Large 2. Model mniejszy to jest Mistral Nemo, on ma 12 miliardów parametrów i zaskakująco duże jak na taki rozmiar modelu okno kontekstowe 128 tysięcy tokenów. Jest to bezpośredni następca Mistrala 7b, o którym też wspominaliśmy w poprzednich odcinkach. Mistral mówi, że to jest bezpośredni drop-in replacement, jak oni to nazywają czyli w tych miejscach, gdzie korzystałeś z Mistrala 7b albo gdzie miałeś ten model podstawiony w swoich rozwiązaniach powinieneś teraz wrzucić Mistrala Nemo jest to troszkę większy model, który jednak ma m.in. nowy tokenizator ma zdecydowanie gęściej skompresowane informacje dzięki temu radzi sobie z nowymi językami to jest taka główna bolączka tych małych modeli, gdzie właśnie z jednej strony chcemy mieć mały rozmiar na dysku, tych wszystkich wag, parametrów modeli, czy też tego pliku docelowego, a z drugiej strony chcemy mieć masę informacji, no można jakby wypracować jakiś kompromis, ale nie można mieć i tego i tego. No właśnie przez podmianę tego mechanizmu do tokenizacji Mistralnemo ma ten problem częściowo rozwiązywać. Jest to właśnie model, który ma być mały, sprawny, ekonomicznie opłacalny, ale też ma sobie radzić z wieloma językami, co nie zawsze jest prawdą, jeśli testujemy małe modele. Taki test jest chociażby na naszym YouTubie. W przypadku Mistralenemu mamy mieć stosunkowo dobrą komunikację w języku angielskim, francuskim, niemieckim, hiszpańskim czy chociażby koreańskim, arabskim czy hindi. Niestety Polski nie został tam wymieniony. Widać, że w przypadku tych małych modeli, myślę, że z czysto takich biznesowych powodów Nasz kraj jest jeszcze pomijany, inne regiony są wybierane jako te priorytetowe, ale mam nadzieję, że w przyszłości się to zmieni. No i jest to takie rozwiązanie właśnie do tych kontekstów, gdzie potrzebujemy małego, taniego modelu, który w dwóch, trzech, czterech językach powinien odpowiadać na pytania, powinien generować tekst, ale niekoniecznie powinien się sprawdzać w jakimś zaawansowanym rozumowaniu, wnioskowaniu, rozwiązywaniu problemów logicznych. Co do tego zaleta na pewno licencja, mamy tutaj Apache 2.0 Mistral daje nam zielone światło dla zastosowań komercyjnych, więc z tego modelu możemy korzystać budując nasze produkty, rozwiązania, które po prostu mają na siebie zarabiać. Nieco inaczej wygląda sytuacja w przypadku Mistrala Large 2, czyli tego najbardziej jakościowego, dużego, istotnego modelu właśnie spod brandu Mistrala. Tutaj w przeciwieństwie do Nemo mamy 123 miliardy parametrów, czyli jest to model dziesięciokrotnie większy, ale takie samo okno kontekstowe 128 tysięcy tokenów. No i tutaj już tak naprawdę wszystko to, co fabryka dała, Ministra po prostu pakuje w ten model. Mamy zdecydowanie szerszy zakres wspieranych języków, mamy ponad 80 języków programowania, z których możemy korzystać generując tekst właśnie z tego modelu. Mamy nacisk na minimalizację halucynacji. Mistral wspomina, że tworząc ten model spędzono sporo czasu na tym, żeby po prostu model nie konfabulował, żeby nie podawał nam nieprawdziwych informacji, żeby częściej pojawiała się odpowiedź, że ten model po prostu czegoś nie wie, co jest też istotne w przypadku tych użytkowników, którzy po prostu tymi halucynacjami nie potrafią zarządzać albo ślepo wierzą we wszystko, co właśnie w odpowiedzi z takich modeli się pojawia. Mamy tutaj stosunkowo dobrą biegłość i wyniki w takich benchmarkach wiedzy ogólnej. Jest to według Mistrala jeden z najlepszych wyników, który zbliża się do tych modeli zamkniętych i też zbliża się do Lamy, o której zaraz pewnie Marcin wam opowie. Jeśli chodzi o benchmark MMLU, czyli myślę, że taki najbardziej rozpoznawalny, najszerzej uznawany za taki benchmark wiedzy ogólnej test, no to w przypadku Mistrala Larch mamy 84% poprawnych odpowiedzi. w przypadku GPT-4O to jest 88,7% czyli o 4 punkty procentowe więcej GPT-4O mini o którym wspominał Marcin ma 82% więc ten model znajduje się gdzieś pomiędzy biegłością małego i dużego GPT-4O jest nieco mniej sprawny niż Lama o której Wam zaraz jeszcze opowiemy natomiast no ta wartość powyżej 82-84% Wskazuje, że to jest naprawdę sprawny model, z którym będziemy mogli prowadzić zaawansowane konwersacje. On ma sporo tej wiedzy w sobie skompresowanej. O ile dobrze pamiętam, MML-u to jest taki benchmark, który w sobie zawiera informacje z 50 domen, 52 albo 54 domen. Właśnie to wszystko wchodzi w skład tych pytań, które w MML-u się pojawiają. i na 84% pytań ten Mistral Large odpowiada poprawnie. Tutaj mamy też niestety minus, to nie jest tak, że mamy same korzyści. Mamy tutaj zmianę licencji względem Mistrala Nemo. Tutaj mamy tzw. Mistral Research License, czyli możemy ten model pobierać, testować przez API, możemy się nim bawić, mówiąc wprost, ale jeśli chcielibyśmy tego Large’a 2 wykorzystywać w kontekście komercyjnym, to z Mistralem musimy już porozmawiać, musimy jakiś agreement podpisać, zgodzić się na jakieś konkretne warunki, które ten Mistral nam przedstawi i dopiero wtedy z tego Ledger 2 możemy korzystać. Więc jest to coś nad czym na pewno warto się zastanowić, warto mieć to na uwadze. Perła Europy robi co się da, żeby nadganiać te największe firmy i największe modele, no ale jeśli chodzi o to użycie w kontekstach komercyjnych to nie jest to jeszcze w pełni Idealnie nie jest to tak poukładana sytuacja jak pewnie moglibyśmy sobie zamarzyć. Jeśli chodzi o dostępność tych modeli to Mistral wspomina, że zarówno Nemo jak i Large 2 będziemy mieć już wkrótce dostępną na wszystkich popularnych chmurach. Large 2 w zasadzie już teraz jest dostępny na chmurach. w chmurze Googla, na Azure AI Studio i na Amazon Bedrocku. Nemo jest dostępny w Google i w Azure, na Amazonie ma się pojawić wkrótce, no i wkrótce też będziemy mieć możliwość fine-tunowania tych modeli, dostosowywania ich do naszych potrzeb, więc Mistral stawia na szeroką dystrybucję, na promocję tych swoich rozwiązań. Natomiast, no tak jak to już bywało w przeszłości, jeśli chodzi o te największe rozwiązania, te najbardziej sprawne rozwiązania, największe potencjale, no to zastosowania komercyjne po prostu trzeba z nimi wynegocjować. No i teraz Marcin myślę, że trzecie rozwiązanie, o którym opowiemy, właściwie trzecia rodzina modeli jest takim połączeniem obu tych światów, o których mówiliśmy, czyli duże możliwości i też zastosowania komercyjne. Co tam ciekawego u Marka Zuckerberga powiedz nam.

Marcin:

U Marka Zuckerberga długo wyszukiwana rodzina modeli Lama 3.1, gdzie dostaliśmy nową wersję modelu 8 miliardów parametrów, 70 miliardów parametrów. Tam pojawiły się usprawnienia, niewielki wzrost wydajności i również rozszerzenie okna kontekstowego do 128 tokenów, czyli tego obecnego standardu. No i wisienka na torcie, to na co wszyscy najbardziej oczekali, czyli duży model 405 miliardów parametrów. który ma być bezpośrednią konkurencją dla GPT-4O, Mistra RRG2, Google Gemini i tego typu topowych tak zwanych modeli Frontier, czyli tych, z których korzystamy chcąc uzyskiwać jak najlepsze rezultaty, jak najwyższą wydajność. Warto tutaj również wspomnieć oczywiście o jednym z liderów, jakim jest Klod 3,5 Sonnet. Lama 31305B również jest bezpośrednią konkurencją właśnie dla tego modelu. Co ważne, jest to model open source. Oczywiście open source z gwiazdką, bo tutaj nie spełniamy wszystkich charakterystyk, cech, których oczekiwalibyśmy po wolnym oprogramowaniu. Nie mamy dostępu do danych treningowych, jakie były wykorzystywane przy tworzeniu tego modelu, ale są udostępniane wagi. No i oczywiście możemy po prostu ten model ze strony METY pobrać, uruchomić na własnym układzie. jeżeli jest wystarczająco silne, bądź też na własnej chmurze i korzystać z niego bez wiedzy i zaangażowania mety, które ten model dla nas stworzyło i udostępniło. Tak więc mamy możliwości w kategorii wiedzy ogólnej, programowania, matematyki. Nie musimy traktować tego modelu jako coś wyspecjalizowanego do jednego zadania. tylko generalne umiejętności, tak jak właśnie oczekujemy od Frontier modelów. Niesamowite koszta firma Meta poniosła, aby ten model wytrenować. Tutaj napisali wprost z jakiej ilości kart graficznych korzystali, a było to aż 16 tysięcy H100, czyli tych obecnie najpopularniejszych kart graficznych tworzonych przez Meta. Nvidia to koszt takiej jednej karty to jest około 150 tysięcy złotych. No to nie da się ukryć, że trochę to przekracza łączny budżet, o którym mówił Przemek, który Polska chce przeznaczyć na całą branżę AI. Meta wydała wielokrotnie więcej na stworzenie modelu open source. Myślę, że to dobrze oddaje rozmach, jaki mamy w Stanach i w Polsce, jeżeli chodzi o sztuczną inteligencję. Model jest już dostępny do testowania nie tylko przez programistów. W Stanach można z niego korzystać za pośrednictwem portalu Meta.ai i Whatsappa, ale jeżeli jesteśmy programistami i chcemy właśnie korzystać z tej części Open Source, tak jak już wspominałem, możemy model pobrać i zaczynać innowacje, iteracje, chociaż na terenie Unii Europejskiej może to nie potrwać tak długo, jak byśmy chcieli, ale o tym za chwilę, bo może Przemek opowiesz trochę więcej o tym podejściu Open Source, jakie meta gdzieś tam przedstawia, które stoi w jawnej opozycji do podejścia tego zamkniętego, do którego przyczaiła nas firma OpenAI, Antropik czy też Google.

Przemek:

No więc, żeby nadać tutaj szerszy kontekst całej tej rozmowy, no to warto rozpocząć od tego, że jeszcze kilkanaście miesięcy temu Meta była firmą, która miała budować Metaversum. Mieliśmy mieć rozszerzoną rzeczywistość, mieliśmy mieć Google, wszyscy mieliśmy się w takiej cyberprzestrzeni. spotykać, no i to o czym też wspominaliśmy, no nie spotkało się z przychylnymi ocenami inwestorów, też użytkowników końcowych, meta notowała spadki, wycena firmy po prostu pikowała w dół, no i od jakiegoś czasu obserwujemy ten piwot w stronę sztucznej inteligencji. No i ten piwot w stronę sztucznej inteligencji jest o tyle zaskakujący, że o ile giganci rozmiarów mety publikują swoje rozwiązania właśnie w modelu zamkniętym, subskrypcyjnym i opierają ten swój model biznesowy na dostępie do modeli, no to meta konsekwentnie miesiąc po miesiącu publikowała kolejne modele właśnie z rodziny Lama, w takiej formie open source z gwiazdką, jak to ty Marcin powiedziałeś, czyli takiego open source, które można przetestować, można przebadać, może też pozytywnie wpłynąć na brand Mety jako firmy, która właśnie tym EA się zajmuje. Co poskutkowało tym, że dzisiaj w zasadzie przez brand Lamy rozumiemy cały taki ruch otwartego AI. Lama to jest logo narzędzi takich jak chociażby OLama czy innych, które pozwalają nam właśnie uruchamiać te modele lokalnie, testować je na własnych maszynach itd. No ale co jest tutaj istotnego w przypadku tej wersji 3.1 czy całej tej rodziny? No przynajmniej z mojej perspektywy do tej pory nie mieliśmy żadnego takiego mocnego statementu pana Zuckerberga a propos tego, po co oni to właściwie robią, czemu im się to opłaca. Mieliśmy jakieś wystąpienia w podcastach, gdzie Zuckerberg mówi, że to będzie nowa strategia, że mówi, że po prostu będą kontynuować pracę w tym kierunku, że być może ten największy model również będzie otwarty, ale nie mieliśmy takiego mocnego stanowczego opisu całej tej strategii, która właśnie teraz ma zawierać już właśnie nie tylko to metaversum, ale też sztuczną inteligencję. No i co ciekawe właśnie przy okazji publikacji tej rodziny 3.1 Mark Zuckerberg opublikował taki list otwarty o Open Source AI, gdzie właśnie odpowiada na te pytania, które od dłuższego czasu się pojawiały, więc on tam zaznacza dwie kwestie, czy też opisuje dwie kwestie. Dlaczego ten Open Source AI ma być dobry dla deweloperów, dla programistów, czy też dla firm, które mają z tych rozwiązań korzystać? i czemu właściwie to się opłaca mecie jako firmie, która te modele będzie publikować. To wszystko zaczyna się taką ciekawą analogią czy takim ciekawym odniesieniem do tego jak kiedyś rozwijał się Linux tam Zuckerberg mówi, że Linux czy też właściwie Unix też był na początku zamkniętym systemem operacyjnym gdzie wydawało się, że właśnie ta ekskluzywność sprawi, że firmy, które tym Unixem się posługują będą zyskiwać jakąś przewagę konkurencyjną na rynku No ale Zuckerberg mówi, że wszyscy wiemy jak Linux skończył. Linux okazał się otwartym systemem i jakby ta otwartość właśnie dystrybucji spowodowała, że Linuxa mamy teraz w centrach danych, na chmurze. Mamy Androida, który jest przecież na jądrze Linuxa. I jest to strategia, która po prostu odniosła sukces. No i Zuckerberg mówi, że meta chce działać właśnie tak jak Linux. Czy też te modele sztucznej inteligencji powinny być tym czym Linux jest dla wielu innych rozwiązań. Czyli to ma być taka platforma, na której będziemy budować produkty. w dostępny, otwarty sposób. No i następnie oczywiście następuje listowanie bullet pointów, czy też powodów, dla których ta strategia ma sens, a inne strategie nie mają sensu. Nie ma co ukrywać, że jest to jakaś taka wizja rzeczywistości, w którą wierzy akurat Meta. Ona pewnie nie jest obiektywnie jedyną dostępną, bo OpenAI ma w tym temacie inne zdanie. Ale Zuckerberg mówi, dlaczego właśnie to Open Source AI będzie dobre zarówno dla deweloperów i dla Mety. No więc, żeby to tak zebrać w jedną całość, dla deweloperów, dla firm przede wszystkim chodzi o omijanie tego vendor lock-ina. Tam Zuckerberg mówi o tym, że jeśli za bardzo przywiążesz się do modelu zamkniętego albo do jakiegoś API, no to może mieć problem w sytuacji, kiedy firma taka jak OpenAI, co nie jest powiedziane wprost, ale można się domyślić, na przykład zmieni warunki użytkowania, dostępu do tego API, cennik, czy dostępne modele. No oczywiście nie jest to łatwy temat. Nie każdy kto z takim API się integruje może mieć wątpliwości i obawy, że to rozwiązanie, które buduje po prostu z dnia na dzień się zmieni. Zuckerberg mówi, że te otwarte modele będziesz mógł po prostu pobrać, uruchomić na własnej infrastrukturze i nie będziesz zależny od fanaberii firmy, której tak naprawdę nie musisz znać, być może nie byłeś w biurze, nie rozmawiałeś z szefem, ale w danym momencie przez chwilę działały, więc to unikanie tego vendor lock-inu to jest taki główny argument dla deweloperów. Natomiast jeśli chodzi o metę i o tę strategię biznesową, no to tutaj oczywiście pojawia się pytanie, po co wy to robicie, czy wam się to opłaca w jakikolwiek sposób, Zuckerberg tutaj zwraca uwagę na dwie kwestie. Po pierwsze, w przeszłości firma publikowała sporo rozwiązań w takim otwartym modelu. Tutaj wskazuje np. PyTorch i React. I Community oddawało więcej tej firmie niż ta firma traciła na tym fakcie, że oni otworzyli to rozwiązanie. Tutaj ten rachunek zysków i strat przechylał się w stronę po prostu odbierania czegoś od Community, uzyskiwania wsparcia wszystkich pasjonatów chociażby Reacta, bibliotek, które się pojawiają natychmiast w danym ekosystemie czy platformy. No i to ma być bardziej opłacalne niż właśnie trzymanie tego rozwiązania zamkniętego i poleganiu wyłącznie na inżynierach, którzy w tej firmie pracują, a mogą mieć jakieś swoje ograniczenia, bo tak to często bywa, że to open source w kreatywny, ciekawy sposób się rozwija, niekoniecznie tak jak autor biblioteki by sobie zażyczył albo mógłby sobie po prostu zamarzyć. I Zuckerberg tutaj jeszcze wspomina, że Meta jako firma nie opiera się po prostu na tym modelu subskrypcyjnym, jakby ich model biznesowy jest czymś innym. Tutaj można sobie dopowiedzieć, czy chodzi o sprzedaż danych użytkowników albo prezentację reklam, natomiast nie jest to po prostu dostęp do modeli sztucznej inteligencji i oni twierdzą, że jakby ten pozytywny wpływ na ich wizerunek, na brand będzie bardziej opłacalny niż to, co mogą stracić. Przez to, że te modele sztucznej inteligencji pojawią się w produktach z tego portfolio mety właśnie w Whatsappie, w Instagramie, w Messengerze, to te produkty docelowo będą po prostu zyskiwać taką większą trakcję, większe zainteresowanie, no i to się przełoży na na cash, który pojawi się gdzieś tam na rachunkach bankowych METY. No więc od strony Foundera, od strony CEO mamy taki mocny statement, mamy rozwiązanie tej zagadki, czy META odważy się na publikację tego największego modelu. Okazuje się, że tak, z małą gwiazdką, tak jak ty wspomniałeś. No i wydaje się, że ten plan zostanie takim androidem świata sztucznej inteligencji, no to jest coś, co META teraz będzie testować, będzie implementować. No ale my wiemy, że Niektórzy mogą mieć inne zdanie na ten temat, więc tajmacznie zapraszam Cię do naszego ulubionego kącika brukselskiego, bo wiem, że też robiłeś research w temacie tego, jak te plany mety mogą się zderzyć z tą europejską rzeczywistością.

Marcin:

No nie da się ukryć, że właśnie przykład Lamy 31405B jest najlepszym przykładem tego, jak wiele problemów ma EU AI Act, czyli promowana jako topowa regulacja na świecie, która całkowicie nie radzi sobie z właśnie obsługą tak dużych modeli open source, które wprost są całkowicie pominięte w tej regulacji, a jeżeli zastosujemy wobec nich te regulacje, które były wprost przygotowywane pod korporacje takie jak OpenAI, Microsoft, Google i tak dalej, i tak dalej, no to pojawia się wiele problemów, nieścisłości, no i najpewniej możemy się spodziewać, że na rzeszalnym świecie ten model może już nie być dostępny w obiegu. bądź też każdy, kto będzie chciał z niego korzystać, podobnie jak firmy właśnie rozmiarów Microsoftu, będą musiały przechodzić przez ten sam proces akceptacji, no co pewnie w praktyce będzie oznaczało, że nikt z tego modelu praktycznie nie będzie korzystał. No bo proszę sobie wyobrazić, że tak duża firma jak przeprogramowanie nie ma osobnego działu prawnego i nie ma setek tysięcy złotych na to, aby taki dział prawny utworzyć, który mógłby się zajmować przechodzeniem przez wieloetapowy proces akceptacji modelu, aby móc go wykorzystać w własnej aplikacji, pewnie z korzyścią dla kieszeni eurobiurokratów, którzy będą na takie lub inne sposoby pobierali pieniądze ze strony firm OpenAI, Microsoft, które te procesy akceptacji przejdą jakimś cudem, bo nagle się okaże, że tamtego systemowego ryzyka, o którym tak dużo się wie jak mówi, nagle nie ma. Ale jeżeli chodzi o modele open source, to musimy bardzo uważać, no bo to co otwarte i ogólnodostępne, no to oczywiście niedobre i trzeba się przed tym jak najbardziej bronić. O co tutaj chodzi? No przede wszystkim o to, że EI Act nakłada takie gdzieś tam odpowiedzialności na dostawców, które w przypadku modelu Open Source nie są realnie do spełnienia. No bo jeżeli No właśnie, bardzo ważne w ogóle jest to rozróżnienie na dostawcę i na użytkownika. Dostawcę to jest osoba, która wprowadza model na rynek. Jeżeli mamy model zamknięty, no to oczywistym jest, że model GPT-4O, jego dostawcą jest firma OpenAI. Korzystamy z API, płacimy za to API. oni przechodzą proces akceptacji i wszystko jest jasne i oczywiste. No ale jeżeli mamy model ogólnie dostępny do pobrania, no to ciężko tutaj w roli tego dostawcy stawiać metę, no bo jak oni mają potem kontrolować użycie tego modelu i monitorować jak on jest używany. Jest to wprost gdzieś tam sprzeczne z tym całym podejściem Open Source i siłą rzeczy myślę, że Meta nie będzie chciała wydać na siebie takiej odpowiedzialności. Dopiero co wydali 600 milionów dolarów na to, żeby ten model stworzyć. Już widzę jak wydają drugie tyle, aby właśnie spełnić te wszystkie oczekiwania Unii Europejskiej. współpracując ze wszystkimi firmami i jednostkami, które będą chcieli z ich modelu korzystać. No, oczywiście drugim rozwiązaniem jest to, że każdy użytkownik w rozumieniu tej regulacji staje się właśnie dostawcą, czyli ja, jeżeli chcę stworzyć własną aplikację opartą o lamę 31405B, no to ja się tym dostawcą staję i zgłaszam się do Unii, przechodzę ten wieloetapowy proces. co również jest odrwane od rzeczywistości, zwłaszcza w przypadku małych i średnich przedsiębiorstw, ale oczywiście od nich nie można pobierać opłat mniej lub bardziej oficjalnie, więc po co się interesować ich gdzieś tam. interesami jeszcze nie daj Boże stworzą coś na tyle innowacyjnego, że nawet nie będziemy w stanie w Brukseli zrozumieć, co to w ogóle jest. No więc tak to niestety wygląda. Świetny dowód na to, jak szybko tego typu kompleksowe, rozbudowane, i nieostre regulacje przestają gdzieś tam odpowiadać rzeczywistości, innowacji. Wiele osób mówiło, że obawy związane z EIA są niezasadne, że to jest świetna regulacja, otwarta, gotowa. Te osoby niestety nie przewidziały, że modele Open Source będą się rozwijały w takim tempie i dostaniemy tak duży model do dyspozycji dla wszystkich. No bo właśnie, co jest ważne, o czym nie wspomniałem, ten model 405B jest już klasyfikowany jako wywołujący, powodujący systemowe ryzyko, bo do jego trenowania zostało wykorzystane ponad 10 do 25. Flopsów taka jest gdzieś tam regulacja tutaj, że to właśnie moc obliczeniowa podczas treningu decyduje o tym, czy model jest bezpieczny czy nie. Meta trzykrotnie przekroczyła ten limit, no więc mamy już do czynienia z modelem niebezpiecznym, który musi przechodzić ten pełen proces akceptacji. Ile to również wytrzyma? Jaką próbę czasu wytrzyma takie podejście? Czas pokaże. Może być tak, że również tutaj eurobiurokraci się przeliczą, bo sama meta pracuje nad multi-token prediction, który może znacznie obniżyć potrzebną moc obliczeniową do tworzenia modeli. Może się okazać tak, że model jest o znacznie większej wydajności niż to, co oferuje obecnie najnowsza lama. będą dostępne wykorzystując do treningu niższą moc niż to 10-25 flopsów. Zobaczymy jak na to zareaguje Bruksela. Szczerze mówiąc, tego właśnie im życzę. No oczywiście w międzyczasie prawnicy zacierają ręce, cieszą się na kolejne dostępne konsultacje, no bo pewnie nie jedna firma chciałaby z takiego modelu jak Lama 31305B na produkcji korzystać. No ale czy będzie to możliwe? Wydaje mi się, że bez dużego wsparcia prawników jest to najwyższe na świecie niemożliwe. Tak więc bardzo możliwe, że w Europie po prostu będziemy musieli o większych modelach open source na razie zapomnieć, licząc właśnie na innowacjach, które ominą ten próg systemowego ryzyka, jeżeli chodzi o motyle językowe. Koniec kącika brukselskiego na dziś i myślę, że też powoli koniec naszego odcinka. Przemku, oddajcie tutaj mikrofon. Co mamy jeszcze dzisiaj do powiedzenia?

Przemek:

Ja jeszcze trochę pociągnę ten kącik brukselski, bo myślę, że jest jeszcze jedna ważna kwestia, na którą warto tutaj zwrócić uwagę. Nie pamiętam tytułu samego wystąpienia, ale jak poszukacie na YouTubie takiej frazy jak Regulatory Capture, no to zobaczycie jak przez regulacje duże firmy tak naprawdę pozbywają się konkurencji, pozbywają się małych firm, bo jakby ty Marcin powiedziałaś o jednym aspekcie, który jest tutaj istotny, czyli właśnie o tym, że ogólnie trudno będzie się poruszać w tym świecie sztucznej inteligencji, no ale właśnie będą firmy, które będą miały budżet, żeby odpowiednio lobbować i wpływać na te jednostki, na przykład właśnie Unii Europejskiej, na instytucje Unii Europejskiej, żeby to prawo dla nich było good enough, a dla reszty very not good enough, że tak powiem. Więc to jest tak, że zawsze jak pojawia się jakaś regulacja, zawsze jak pojawia się jakieś rozporządzenie, to to nie jest tak, że tylko autorzy mają wpływ na to, jak ono wygląda. Mamy duże firmy, które lobują, mamy fotliderów, mamy jakichś autorów opinii, którzy mają zdanie, którzy starają się przeforsować konkretny kierunek takiej legislacji. No i tak jak ty Marcin powiedziałeś, raczej to nie będziemy my, którzy właśnie w Brukseli będą wpływać na to jak EA Act wygląda. Raczej to będą duże firmy, a jeśli duże firmy będą o tym rozmawiać, no to prawdopodobnie w taki sposób, żeby dla nich to było ok. Więc to jest tak, że na takim naprawdę fundamentalnym poziomie, jeśli tylko rząd czy jakaś instytucja zaczyna wprowadzać regulacje, no to naprawdę nie myślmy o tym, że tutaj chodzi tylko o jakąś ochronę wartości, bezpieczeństwa, ochronę ludzkości i tak dalej, to jest po prostu biznes, na podstawie którego no po prostu pieniądz pływa, mamy przepływy z konta na konto i to nie jest tak, że my siedzimy w jakichś foliowych czapeczkach, to jest mechanizm, który od wielu dekad jest po prostu widoczny w wielu gałęziach przemysłu i tak dalej i tak dalej, można o tym poczytać i w tym przypadku będzie podobnie prędzej czy później, no bo naprawdę wystarczyło kilka miesięcy i tutaj doszliśmy do ściany i teraz na co my tak naprawdę się nastawiamy, że tutaj te firmy się poddadzą, że one nie będą chciały kopać się z koniem? No nie, będą szukać opcji, żeby jakby nagiąć to prawo do swoich potrzeb. I cały czas podkreślam, pewnie nie będą to dwu, trzy, cztery osobowe firmy, to nawet nie będą pięćdziesięcioosobowe firmy albo stuosobowe firmy, to będą trzy, cztery duże korporacje, które po prostu będą w stanie nawigować gdzieś tam w Brukseli tym tematem, a my będziemy mogli w podcastach opowiadać, co nam tak naprawdę zostaje, więc to jest coś takiego, co też trzeba mieć na uwadze. Mówiąc o regulacjach, bo te regulacje to jest po prostu narzędzie w ten czy inny sposób wykorzystywane. Więc to tutaj chciałem dodać. Nie wiem, czy chcesz to jeszcze skomentować, czy przechodzimy do zakończenia.

Marcin:

No też, co chciałbym zaznaczyć i co też wybrzmiało w tym odcinku, też nie jest tak, że my jesteśmy jakimiś ścisłymi antyfanami jakichkolwiek regulacji i tu promulujemy jakiś anarchokapitalizm. Bo jak wspominaliśmy w przypadku deepfake’ów, to podejście jakie mamy w Unii Europejskiej jest naszym zdaniem podejściem właściwym. Tak więc regulacje są potrzebne, zakaz biometrii również jest potrzebny, żebyśmy w sytuacji chińskiej nie przeżywali na terenie naszego kontynentu. To jak najbardziej jest okej, ale widać jeżeli chodzi o te regulacje dotyczące modeli, no to ciężko tutaj nie wyczuć podejścia opartego o kontrolę i gdzieś tam żyłowanie korporacji i totalne pomijanie interesów mniejszych lub średnich firm. Jeżeli chodzi o to wystąpienie, o którym wspominał Przemek, to jest to wystąpienie Billa Garleya na All In Summit. Jeżeli będziemy pamiętali, to dodamy link do opisu tego odcinka. Tym niemniej All in Summit Bill Gatley tam właśnie ma świetne wystąpienie na temat tego, jak regulacje za pośrednictwem takich konsekwencji drugiego i trzeciego rzędu negatywnie wpływają na gospodarkę, na innowacje. Tak więc to nie jest tak, że przygotujemy nawet najlepszą ustawę i wszystko pójdzie dobrze, a w przypadku AI Act to już na poziomie pracy było widać, że to nie jest najlepsza ustawa. Tak więc jak będzie zobaczymy, tym niemniej obawiam się, że w przypadku modeli open source najlepiej nie będzie. I tym nie do końca optymistycznym akcentem zamykamy ten odcinek. Zapraszamy Was oczywiście raz jeszcze do oceniania naszego podcastu na 5 gwiazdek, czy na Spotify, czy na Apple Podcast. To pozwala nam zyskać lepszą widoczność na tych platformach i zachęcamy do udostępniania tego odcinka, czy to na LinkedIn, czy to na Instagramie, innej platformie social media, z której korzystacie. Będziemy bardzo wdzięczni i to pomoże dotrzeć Opanuj.ai do innych osób, które są zainteresowane tematyką sztucznej inteligencji. Co jeszcze chcemy powiedzieć? No to mamy ten newsletter. Co poniedziałek rano wysyłamy trzy wybrane przez nas kluczowe informacje. Dzięki temu możecie być jeszcze bardziej na bieżąco ze światem sztucznej inteligencji. My tu do Was przemawiamy raz na miesiąc, jeżeli chcecie być z nami w kontakcie. Co tydzień to również jest taka możliwość właśnie za pośrednictwem skrzynek mailowych i newslettera. Zapraszamy do podsumowania sierpnia. Z jednej strony oby był równie intensywny co lipiec, chociaż nie da się ukryć, że właśnie kończymy jeden z najdłuższych odcinków z najbardziej napakowaną agendą, więc może z drugiej strony nie aż tak dużo. Tym niemniej fajnie się rozmawiało, jak zwykle zresztą Przemku. Mam nadzieję, że to był ciekawy odcinek dla Was, Dody słuchacze. Wszystkiego dobrego, udanego sierpnia. Cześć.