Llama 3 od Meta AI robi furorę, szybka implementacja baz wiedzy z RAG dzięki Cohere Toolkit | Co słychać w AI (Kwiecień 2024)

Przemek

Cześć, witamy w kolejnym odcinku podcastu OpenAI. Jak co miesiąc mamy dla Was zestaw nowości, opinii, spostrzeżeń i odkryć ze świata sztucznej inteligencji i machine learningu. Dzisiaj porozmawiamy zarówno o software’ze jak i hardware’ze. Jako że staramy się też dostosowywać do rosnącego, do coraz większego grona odbiorców to zmodyfikowaliśmy też lekko formę, testujemy taki nowy format mieszany, gdzie mamy dla Was zarówno szybkie newsy z rynku i tematy bardziej głębokie, które będziemy eksplorować w dalszej części tego odcinka. No i jak co miesiąc informacji jest naprawdę sporo, więc zachęcamy do słuchania. Jeśli chodzi o to, co dzisiaj dla Was przygotowaliśmy, to na pewno takim głównym aktorem, taką gwiazdą tego odcinka będzie Lama w wersji trzeciej, czyli obecnie najlepszy, najbardziej potężny model open source od żadnej innej firmy, tylko od Mety AI. Dodatkowo porozmawiamy o tym, gdzie w całym tym równaniu pod tytułem sztuczna inteligencja znajduje się Apple, gdzie w tym ekosystemie jest Apple, gdzie są jej modele, jak te modele mają się w stosunku do konkurencji. Porozmawiamy również o rozwiązaniach od firmy Cohere, czyli takiej firmy, która nie występowała zbyt często w tych naszych podcastach, ale ostatnio naprawdę prężnie się rozwija. Porozmawiamy zarówno o usłudze dla Enterprise, jak i o narzędziach dla programistów, dzięki którym możecie budować rozwiązania oparte o sztuczną inteligencję. No i tak jak wspomniałem, kilka szybkich newsów z branży. O tym za chwilę. Zanim zaczniemy, chcielibyśmy Wam jeszcze bardzo serdecznie podziękować za pozytywny odbiór tego podcastu. Wspominaliśmy o tym już w ostatnim odcinku na Apple Podcast. Ostatnio pojawiliśmy się na czwartej pozycji w kategorii technologicznie, więc serdecznie za to dziękujemy. Dzięki za każdy feedback, dzięki za uczestnictwo w naszych ankietach, które pojawiają się na wybranych platformach. Robimy to tak naprawdę dla Was. Jest to bano, ale jest to też prawda, gdyby nie było żadnego odzewu, no to myślę, że tej motywacji też nie byłoby tyle, ile teraz. Jest to jedna z naszych ulubionych pozycji na zakończenie każdego miesiąca, więc jeszcze raz serdecznie dziękujemy. Jeśli ten odcinek Wam się spodoba, to również jak co miesiąc możecie tutaj zostawić 5 gwiazdek, możecie zostawić feedback, ocenić nas i wtedy dajecie znać algorytmom, że po prostu jest to taki materiał, który warto polecać. I te platformy skorzystają z tego, że słucha nas coraz więcej osób, bo po prostu do tego się to sprowadza. Zachęcamy też do subskrypcji naszego newslettera na stronie Opanuj.ai. Tam co poniedziałek rano w takiej formie pigułki wiedzy otrzymujecie trzy kluczowe linki z poprzedniego tygodnia, które również podsumowują te najważniejsze wydarzenia ze świata sztucznej inteligencji. No i na tym samym Opanuj.ai więcej informacji na temat naszych warsztatów z generatywnej sztucznej inteligencji, a na stronie opanujfrontend.pl informacje o drugiej edycji naszego szkolenia Opanuj Frontend AI Edition. która startuje 17 czerwca. Przygotowaliśmy dla was 5 modułów o frontend, które są dodatkowo wzbogacone tą wiedzą o sztucznej inteligencji. Na pokładzie mamy teraz ponad 200 osób, które chcą uczyć się tego jak budować nowoczesne interfejsy użytkownika. Tam również możecie zerknąć. Koniec z tego intro. Wiem, że czekacie już na materiał, czekacie na to co dla was przygotowaliśmy i tutaj podzielę się sceną z Marcinem, który wprowadzi dla Was te najważniejsze newsy z ostatniego miesiąca.

Marcin

Zacznijmy może od kontynuacji tematu, który był gwiazdą poprzedniego odcinka, czyli rodziny Cloud3 od firmy Antropic. Chodzi oczywiście o modele Haiku, Sonnet oraz Opus. My te modele sukcesywnie testujemy przez ostatnie tygodnie, a już tak naprawdę można mówić o miesiącach. No i wnioski są proste. Jest to naprawdę gdzieś tam fajna rodzina zgodna z zapowiedziami, które pojawiły się na stronie Antropica. W mojej percepcji zdecydowanie na prowadzenie wybija się ten model ze średniej półki, czyli Sonnet. On oferuje naprawdę niesamowitą wydajność i bardzo solidny intelekt przy bardzo niskich kosztach. To jest model, z którego ja bardzo chętnie korzystam. każdego dnia. Gwiazdą tego release’u tak naprawdę był model Opus, który przewyższył w benchmarkach GPT-4, aczkolwiek on jest naprawdę wolny i naprawdę drogi i to się da odczuć, a sama wydajność, przynajmniej w mojej codziennej pracy, nie jest zauważalnie wyższa od GPT-4, stąd jeżeli potrzebuję naprawdę wysokiej mocy i mam maksimum możliwości ze strony ELM-u, to raczej otwieram Chart GPT niż myślę o PUSIE. I teraz jeszcze pewnie zadajecie sobie pytanie, gdzie ja w ogóle mogę tego Clouda testować? Cloud AI nie jest dostępne w Unii Europejskiej. Jest kilka sposobów, ale dwa są moim zdaniem najprostsze. Po pierwsze to jest console.anthropic.com, czyli UI, który jest skierowany do osób, które korzystają z API. Nie musimy korzystać z API, ale możemy też korzystać z takiego samego UI, jaki oferuje OpenAI w przypadku swojego Playgroundu. No więc tam mamy stosunkowo prymitywny ten interfejs, formatowanie jest tylko w ostatniej odpowiedzi, no ale jest możliwość skorzystania z tego w Unii Europejskiej. No bo tutaj już API jest dostępne, po prostu ten UI Cloud AI jeszcze nie jest dostępny. A drugim sposobem jest Open Router AI, czyli usługa, o której będzie za chwilę. Co jest istotne, no to Antropik nie osiada na laurach. W tym miesiącu dodał do tej rodziny Cloud 3 możliwości wykorzystywania wszelkiego rodzaju narzędzi, czyli tak zwany function calling. Możemy część zadań delegować do zewnętrznych API, do zewnętrznych rozwiązań, tak aby model mógł się pomagać, posługiwać zewnętrznymi źródłami wiedzy, realizować dla nas zadania. Więc to jest sposób na to, żeby zmniejszyć halucynacje. Plus otwiera nam się ta furtka tzw. agentury, czyli możliwości podejmowania jakichś określonych działań w naszym imieniu. To jest bardzo gorący temat, coraz więcej się o tym mówi i widać, że Antropic już te swoje modele na to przygotowuje. Jest to bardzo fajnie w dokumentacji, opisane, więc jeżeli tworzysz agentów, tworzysz wszelkiego rodzaju integracje, no to bardzo polecam się zapoznać, bo w przypadku Haiku i Soneta mamy naprawdę fajny pricing i dobre wyniki, jeżeli chodzi o wykorzystywanie właśnie tych narzędzi. Odkrycie ostatnich tygodni, no to jest wspomniany Open Router AI. To jest usługa, która daje nam dostęp do większości modeli dostępnych na rynku, i też oferowanych przez różnorakich dostawców, dzięki czemu mamy dostęp w najwyższej świecie do atrakcyjnych cen i do wysokiej wydajności szybkich odpowiedzi. I Open Router, w czym się specjalizuje, to daje nam taki interfejs, gdzie my nie musimy myśleć o tym, jak się do danego modelu bądź też dostawcy dostać. Tam po prostu wszystko mamy gotowe, mamy zintegrowane, zunifikowane API, które możemy wykorzystywać za pomocą ich SDK. więc jeżeli chcemy sobie przetestować Lame 3 na dwa dni po release w Unii Europejskiej, no to właśnie z OpenRouterem jak najbardziej mamy taką możliwość. Tak samo możemy korzystać z Gemini 1.5 Pro, które na przykład w Unii Europejskiej jeszcze nawet na poziomie API nie jest dostępne, a na OpenRouterze już jak najbardziej z tego modelu możemy korzystać. Jest oczywiście ta część, o której wspomniałem, taka techniczna na poziomie API, ale Open Router oferuje również interfejs graficzny, gdzie możemy z kilkoma modelami rozmawiać naraz. Możemy sobie wpiąć na przykład pięć modeli i tego samego prompta w czasie rzeczywistym wysłać do tych pięciu modeli. Dostajemy w UI różne odpowiedzi, widzimy też na bieżąco i jaka jest prędkość odpowiedzi na poziomie tokenów na sekundę, ile tych tokenów zostało wyprodukowane, więc fajnie możemy kontrolować zarówno wydajność, jak i koszty tych modeli. No niestety ten UI jest dość biedny, nie mamy historii konwersacji, możemy mieć po prostu jedną konwersację, można co prawda na dysk sobie zapisać i potem to importować. No ale wiadomo, to nie jest tak fajny UX, jaki mamy gdzieś tam w czacie GPT, ale jeżeli chcemy przetestować szybko jakiś model na poziomie interfejsu graficznego, to jak najbardziej mamy taką możliwość. I też fajny feature to jest to, że widzimy jak popularne są poszczególne modele na OpenRouterze, z czego po prostu ludzie korzystają. No bo ich zdaniem właśnie to nie benchmarki będą najlepszym wyznacznikiem jakości modeli, a ich popularność. więc możemy sobie zobaczyć z czego faktycznie ludzie korzystają i na jakiej skali. No jak sobie zobaczymy te rankingi, no to widzimy, że tam model od Mixtrala i od Clouda i teraz w ostatnim tygodniu Lama 3 to są zdecydowanie takie najpopularniejsze rodziny modeli ze względu na to, że mają naprawdę solidną wydajność no i też naprawdę niskie koszta. Zresztą o LAM-ie 3 będziemy w tym kontekście i w ogóle szeroko będziemy w tym odcinku opowiadali. Polecamy tą usługę. No i teraz może przejdźmy do Microsoftu. Przemek, opowiedz, co tam się dzieje.

Przemek

Jeśli chodzi o Microsoft, to ta firma na pewno zaznaczyła, że tak powiem swoją obecność na polu researchu. Wydano publikację o tak zwanej platformie VAZ-a wraz z modelem VAZ-a1, czyli takiego rozwiązania służącego do generowania realistycznych twarzy, wraz z wypowiedziami, które te twarze tworzą, reprezentują z wałek z wału. Możemy mieć takie interaktywne awatary, które są generowane na podstawie zdjęcia oraz fragmentu wypowiedzi danej osoby. To platforma Waza jest w stanie przetworzyć oba te inputy i stworzyć dla nas powiedzmy fragment wypowiedzi albo realistyczną animację, na której to właśnie twarz ze zdjęcia mówi wskazaną kwestię. No oczywiście tego typu rozwiązanie ma swoje plusy i minusy, Plusy to jest szeroko rozumiana dostępność, taka równość w edukacji, kwestie związane z terapiami, reprezentacja jakichś osób, które np. nie mogą być dostępne na kamerkach, a chcą się wypowiadać, chcemy zbudować jakąś relację, zaufanie z naszym odbiorcą i potencjalnie takie bardzo realistyczne awatary tworzone przy pomocy sztucznej inteligencji mogłyby nas właśnie w tych scenariuszach reprezentować. Natomiast mamy też zagrożenia, myślę, że tutaj wszyscy słuchacze są w stanie odgadnąć jedno z nich, mianowicie deepfake’i, sytuacje, w których kradniemy tożsamość, podszywamy się pod jakąś osobę, realizujemy jakieś wektory ataku, podszywamy się, chcemy uzyskać do czegoś dostęp, do czego dostępu nie powinniśmy uzyskać. No i w przypadku tak realistycznej platformy jak Waza, której te efekty są na stronie Microsoft Research, no te deepfake’i są na tyle istotnym zagrożeniem, że Microsoft w ogóle nie planuje publikować na razie tego rozwiązania. Na samym dole, w stopce tej strony, gdzie znajdują się informacje o modelu, znajdziemy się informacji, że nie będzie ani dema dostępnego online, ani nie będzie API, prawdopodobnie ani nie będzie to produkt. Jest to wyłącznie taka działalność związana z researchem, gdzieś tam przesuwanie tych możliwości algorytmów sztucznej inteligencji. Być może kiedyś skończy się to z integracją z Teamsami, jest to moim zdaniem prawie pewne, natomiast jeszcze dzisiaj Microsoft nie jest na to gotowy, no i myślę, że jeszcze trzeba na to poczekać. Natomiast jeśli chodzi o Microsoft i taki aspekt bardziej biznesowy, chociaż nie ma biznesu dzisiaj bez researchu, to warto na pewno wspomnieć o inicjatywie Stargate, czyli najdroższym superkomputerze, który Microsoft wraz z OpenAI planuje zbudować do 2028 roku. Ma to być infrastruktura pod nową generację modeli. Ma to być infrastruktura, do której uzyskają dostęp pracownicy zarówno Microsoftu, jak i OpenAI. no i na tej infrastrukturze będą w stanie trenować zdecydowanie mocniejsze rozwiązania niż do tej pory. Mówi się, że ta konstrukcja miałaby znacząco przebijać wszystkie tego typu rozwiązania i dostępną infrastrukturę, które znamy z dzisiejszych czasów, nawet pod tym względem, że jej zasilanie czy zapotrzebowanie na moc zahaczałoby prawdopodobnie o elektrownię atomową, o energię jądrową, czyli też takie tematy, które pojawiały się już w naszym podcaście. Teraz tych plotek wokół tego tematu jest zdecydowanie więcej. Okazuje się, że coś jest na rzeczy, no i będziemy ten temat obserwować. Jako że to są szybkie newsy, to myślę, że gdzieś w opisie tego odcinka też będziemy wspominać, gdzie o tym Stargate można poczytać, a możemy przejść do samego OpenAI, który też w tej inicjatywie Stargate bierze udział, ale też wdraża kolejne poprawki do swoich modeli. Z takich bardziej istotnych poprawek, bardzo znaczących z punktu widzenia firmy, to jest na pewno nowa wersja GPT-4 Turbo, która pozwoliła firmie OpenAI odzyskać stanowisko, pozycję lidera na leaderboardzie na LMSys, chatbot arenie, na rzecz Clouda 3 Opus. Przez pewien czas mówiliśmy o tym w poprzednim odcinku, to właśnie rozwiązanie Antropica było na platformie chatbot arena uznawane za to najbardziej potężne, na to które prowadzi najlepsze konwersacje. Marcin miał na ten temat fragment w jednym z poprzednich odcinków, opowiadał jak na chatbot arenie te modele są oceniane. No i o ile jeszcze miesiąc temu to właśnie Cloud 3 Opus był tym absolutnym liderem, tak teraz mamy GPT-4 w nowej wersji z kwietnia 2024 z cut-offem danych albo na grudzień 2023 albo na kwiecień dla nielicznych, który znowu jest liderem, który według tej ślepej próby, podwójnej ślepej próby, o której też mówiliśmy, taniem społeczności jest modelem, z którym prowadzi się najlepsze, najbardziej potężne konwersacje. Myślę, że jest to naprawdę mocny sygnał, ta konkurencja nie śpi, i ciekawe rzeczy tutaj na polu rywalizacji tych największych, najbardziej potężnych modeli jeszcze w przyszłości będziemy obserwować. Mówiąc o OpenAI, to warto też wspomnieć o aktualizacjach Assistance API. Dostaliśmy nowe narzędzie do budowania baz wiedzy, o które możemy pytać, o których możemy rozmawiać z modelami sztucznej inteligencji. Tutaj taka ciekawostka, nam udało się już zintegrować nowe rozwiązania, czyli to Assistance API v2 z jedną z lekcji w naszym kursie Opony Frontend AI Edition. Tam pokazujemy naszym uczestnikom, jak zbudować taką firmową, interaktywną bazę wiedzy, dokumentację projektową, na temat której można rozmawiać z modelami takimi jak GPT-4 Turbo. No i właśnie to Assistance API v2 nam to umożliwia. Mamy programatyczny dostęp do tak zwanych wektorowych źródeł danych. Możemy te źródła danych odpytywać, możemy uploadować pliki, no i możemy budować bardziej po prostu zaawansowane, bardziej użyteczne integracje. Myślę, że to właśnie pozyskiwanie wiedzy i rozmowa o danych To jest jeden z takich bardziej popularnych use case’ów, który też często się pojawia w tych kontekstach związanych ze sztuczną inteligencją. No i dosłownie ostatnia informacja, jeśli chodzi o OpenAI. Mamy DALI 3 z edycją obrazów, z tak zwanym in-paintingiem, czyli coś, co co znaliśmy z Mid-Journey. Możemy zaznaczyć fragment obrazu, który generuje dla nas DALI 3 na poziomie chata GPT i bez wychodzenia z interfejsu możemy poprosić o pewną korektę danego fragmentu tego obrazu, czy tej ilustracji, którą uzyskujemy. Można to testować zarówno w wersji webowej, jak i w aplikacji mobilnej. No i na koniec, zanim przejdziemy do tego głównego aktora naszego odcinka, jeszcze dwie głośne premiery z kategorii tzw. Wearable AI. Jeśli przeglądacie media społecznościowe, jeśli przeglądacie YouTuba, to być może widzieliście, że zarówno Humane, AI PIN, jak i Rabbit R1, czyli takie AI zamknięte w małym pudełku, są już dostępne na rynku. Pojawiły się pierwsze recenzje. No i cóż, jest różnie. Czym te urządzenia tak naprawdę są? O czym my tak naprawdę mówimy? Być może zdajecie sobie sprawę, być może sami zadajecie sobie takie pytanie, co będzie tym następnym tak zwanym form faktorem po smartfonie, co będzie takim urządzeniem, który wszyscy będziemy nosić w kieszeniach, czy pojawi się jakaś następna forma, czy pojawi się jakieś następne urządzenie, czy ten smartfon taki jak znamy go dzisiaj będzie już tylko marginalnie ulepszany. Obie te firmy próbują właśnie zaproponować coś nowego i budują rozwiązania, które są kawałkiem hardwaru, są takim pudełkiem rozmiarów mniej więcej połowy smartfona, jednej trzeciej smartfona. w których działają właśnie asystenty, w których działają multimodalne modele generatywnej sztucznej inteligencji. No i możemy sobie takie wearable przypinać, możemy sobie je nosić, możemy sobie je umieszczać koło naszych komputerów. No i potencjalnie mamy taką fizyczną formę asystentów, z którymi możemy wchodzić w interakcję. No niestety okazuje się, że ta pierwsza generacja tych rozwiązań jest daleka od optymalnej. Pamiętam Marcin, jak my byliśmy na nartach w Szczurku jakiś czas temu, zastanawialiśmy się, czy tego rabita nie zamówić. No i recenzenci mówią, że jednak warto na tą drugą generację poczekać, no bo czuć, że jednak jest to pierwsza generacja. Po pierwsze jest stosunkowo drogo, po drugie nie ma aplikacji, nie ma ekosystemu. Są opóźnienia związane z komunikacją ze sztuczną inteligencją, te urządzenia nie uruchamiają modeli na urządzeniach, one komunikują się z jakimś zdalnym API, a tutaj po prostu fizyka wchodzi w grę i wszystkie te opóźnienia na poziomie sieci. No i cóż, dzisiaj rozmawialiśmy o jednej z recenzji MKBHD być może go znacie. On stwierdził że widzi taki niepokojący trend wypychanie na rynek coraz bardziej nie gotowych sprzętów które to po zakupie dopiero stają się docelowe jeśli chodzi o poziom niezawodności oferowane funkcjonalności. No i niestety zarówno ten Humane AIP jak i Rabbit R1 zostały nie ma co ukrywać zrównane z ziemią. To też budzi sporo kontrowersji bo jest taka debata czy czy dawać szansę nowym firmom czy nie dawać szansy nowym firmom. Gdzie ta innowacja jeśli krytykujemy tego typu rozwiązania. Myślę, że w jednym z przyszłych odcinków warto będzie w ten temat wejść głębiej. Może sobie takiego Rabbita zamówimy i potestujemy go w trakcie odcinka. To też byłoby ciekawe doświadczenie.

Marcin

Dokładnie tak. A teraz możemy przejść do głównego dania tego odcinka, czyli do tej Lamy 3, która wyszła w połowie kwietnia i tak naprawdę zebrała większość uwagi branży ekosystemu Generative AI i tak naprawdę słusznie Meta udostępniła nam dwa modele, pierwszy ma 8 miliardów parametrów, drugi ma 70 miliardów parametrów, czyli mamy stosunkowo małe modele, które mają niesamowitą moc. Zabrzmi to gdzieś tam marketingowo jak zapowiedź jakiegoś filmu superbohaterskiego, ale dostaliśmy do dyspozycji naprawdę nieprzeciętną lamę. Jeżeli porównamy sobie możliwości tej nowej generacji 3 z tym, co mieliśmy do dyspozycji w zeszłorocznym wydaniu Lama 2, no to najsilniejsza Lama 2, ta największa, czyli właśnie mająca 70 miliardów parametrów, jest niewiele lepsza od tej najmniejszej nowej Lamy 8 miliardów parametrów, no więc przeskok jest niesamowity, no i ogólnie wyniki w benchmarkach tych modeli, no naprawdę robią ogromne wrażenie. Jeżeli chodzi o tą skalę parametrów, no to zdecydowanie to są najlepsze modele dostępne na rynku. I nie tylko w klasie Open Source, bo to są modele Open Source, o czym warto spełniać. Każdy z nas może ten model sobie pobrać, uruchomić na własnej maszynie, jeżeli jest wystarczająco silna, no bądź też gdzieś tam wrzucić na chmurę i korzystać z niej w ten sposób. I te modele, zarówno w porównaniu z konkurencją Open Source, jak i Cloud Source, wypadają naprawdę świetnie w swojej klasie. Jeżeli chodzi o porównanie z innymi małymi modelami, no to zarówno GMO od Google, jak i Mistral od Mistrala wypadają po prostu najzwyczajniej w świecie gorzej. Jeżeli chodzi o ten większy model, 70 miliardów parametrów, to tu już porównujemy np. z Gemini Pro 1.5 czy z Cloud czy z Sonetem. Są zamknięte wielkie modele, do końca nawet nie wiemy jakiej wielkości, ale niewątpliwie o większej ilości parametrów. a i tak wypadają bardzo podobnie, bądź też nawet gorzej w niektórych benchmarkach od Lamy 3. Więc to jest niesamowite tak naprawdę, jaki się udał tutaj postęp w mecie zaprowadzić. I co najlepsze, oni mówili, że tu nie ma żadnej zaawansowanej nowej architektury. Tak naprawdę zmienili głównie tokenizer i też proces treningu. Mocno eksperymentowali na poziomie tego, z jakiej ilości danych korzystają, z tego, co czytałem i z tego, co mówił Mark Zuckerberg, wyszli poza najlepsze praktyki, robili to, czego się niby nie powinno robić, ze względu na to, że mają bardzo duże zasoby i dostęp do dużej mocy obliczynowej, mogli sobie na to pozwolić, no i gdzieś tam przekraczając to, co się robi zwykle, weszli jeszcze dalej na tej fali skorowania na kolejny poziom, więc to też jest taki fajny sygnał, że naprawdę wiele można zrobić nawet przy stosunkowo niedużych modelach, inwestując odpowiednią ilość pieniędzy w proces treningu. Co ważne, jeżeli chodzi o dane, na których oparta jest ta rodzina, Lama 3, no to tam mamy bardzo dużo kodu, bardzo dużo, 4 razy więcej niż w przypadku Lamy 2 i to widać w najzwyczajniejszym świecie, bo ten model świetnie wypada w wszelkiego rodzaju benchmarkach właśnie związanych z programowaniem. Tu mamy wyniki porównywalne niemalże z GPT-4 Turbo i z Cloud 3 Opusem. To jeszcze nie jest ten poziom, ale jesteśmy naprawdę blisko jeżeli chodzi konkretnie o ten use case programistyczny, więc to robi niesamowite wrażenie, że mamy tak dobry model Open Source do dyspozycji dla programistów, więc to jest też wielki przełom i też dowód na to, że dane pochodzące z kodu mają ogólnie pozytywny wpływ na ogólne możliwości modelu, bo tam mamy jakieś rozumowanie, dochodzenie do konkretnych rozwiązań. Jak mówił Zuckerberg, to się też przekładało na inne benchmarki, jak oni tego kodu dokładali, więc bardzo możliwe, że w kolejnych modelach również będzie taki trend, żeby tego kodu coraz więcej do tej ogólnej puli danych treningowych Jeśli chodzi o to, gdzie.

Przemek

Możecie uzyskać dostęp do Lamy 3, no to macie kilka opcji. Myślę, że można by tutaj narysować taką tabelkę. W jednej sekcji byłoby pytanie, czy jesteście programistami czy nie, bo tutaj już jest inna odpowiedź. No i druga strona, drugi wymiar to byłoby, czy jesteście w Unii Europejskiej, czy jesteście w Stanach Zjednoczonych, albo w tak zwanej reszcie świata. No i właśnie na podstawie takiej macierzy można byłoby odpowiedzieć, gdzie właściwie możecie do tej Lamy 3 uzyskać dostęp. No myślę, że taką najbardziej uniwersalną metodą dla programistów, dla osób technicznych może być jednak właśnie chatbot Arena. czyli to rozwiązanie, ta aplikacja, gdzie możemy porównywać ze sobą różnorakie modele. Firma ElemSys, która stoi za chatbot Areną, bierze na siebie integrację z poszczególnymi modelami i tam możemy sobie prowadzić bezpośrednie chaty zarówno z tym modelem, jak i z innymi modelami. Dosłownie teraz w momencie nagrywania tego odcinka sprawdziłem, gdzie ta największa lama jest. Ona jest na szóstym miejscu, ma pod sobą wiele poprzednich wersji GPT-4, więc to jest naprawdę ogromne osiągnięcie świata open source, a właściwie dużej firmy komercyjnej, która wypuszcza model w formie open source, bo tak to trzeba nazwać, to nie jest jakby inicjatywa trzech hobbystów, którzy w piwnicy ten model zbudowali, to jest naprawdę duża firma. Natomiast to jest jedna z opcji. Mamy też Open Router, o którym mówiliśmy. Przez Open Router również można się integrować na poziomie API. To jest to rozwiązanie oczywiście dla osób technicznych, dla programistów, którzy z tego Open Router’a chcą korzystać. No i mamy najbardziej przystępną opcję, najbardziej przystępny kanał, czyli Meta.ai, odpowiednik chata GPT, czyli aplikację, która tak naprawdę jest tym, czym właśnie dla GPT-4, dla GPT-3.5, czym jest chat GPT, czyli takim publicznym interfejsem, aplikacją, do której można się zalogować z przeglądarki, uzyskać dostęp do jakiegoś interfejsu tekstowego i zacząć z tym modelem rozmawiać. No i tutaj gwiazdka, w poprzednio nagrywanym odcinku tych gwiazdek było sporo, tutaj też ta gwiazdka jest. No niestety tutaj meta AI dzisiaj w Unii Europejskiej nie zobaczymy, nie zalogujemy się, zobaczymy, ale nie zalogujemy się. Jest ona dostępna w USA i w kilku krajach anglojęzycznych. No i niestety nie wiadomo, kiedy do Mety.ai uzyskamy w Europie dostęp, natomiast ta Meta.ai to jest z punktu widzenia Mety temat zdecydowanie szerszy, bo oni widzą to jak pewnego rodzaju rodzina usług, czy taki brand, jak na przykład Gemini właśnie, albo ChatGPT. Meta.ai ma się pojawiać w wielu różnych produktach i aplikacjach spod właśnie brandu Mety, czyli prawdopodobnie w Whatsappie, w Instagramie, gdzie będziemy chcieli sobie wygenerować jakąś ilustrację, będziemy chcieli wyszukiwać informacje ad hoc, będziemy chcieli właśnie urozmaicać te nasze konwersacje. O tym już wspominano w trakcie jednej z konferencji produktowych na ten rok, kiedy Meta właśnie zapowiada, że Meta.ai będzie takim nowym interfejsem, który pojawi się w wielu aplikacjach z całego tego ekosystemu. No ale my jako mieszkańcy Unii Europejskiej, no na to jeszcze poczekamy, ale myślę, że każdy, kto słucha tego podcastu, już się przyzwyczaił do tego obostrzenia i jakby wiemy, że w dwóch cyklach produktowych, takich dwóch cyklach publikacji uzyskajemy dostęp. Jeśli jesteśmy w Unii, to po prostu na te rozwiązania czekamy. Więc tak to wygląda jeśli chodzi o dostęp. Myślę, że istotną kwestią jest sama strategia mety, która z każdym wydaniem Lamy staje się coraz bardziej intrygująca, bo interesująca już była, teraz już po prostu intrygująca. Wydaje się, że o ile Lama 1 i Lama 2 były projektami głównie takimi związanymi z researchem, gdzie na przykład Zuckerberg wypowiadał się dość neutralnie na temat tych modeli, No to w przypadku Lamy trójki mamy mocno ofensywny tryb tego, czym ta Lama trójka jednak jest. Mamy właśnie konkurowanie z największymi modelami, mamy ten dostęp w formacie open source like. Zuckerberg w podcastach, w których się wypowiada, sugeruje też, że po prostu jego zdaniem ta demokratyzacja dostępu do sztucznej inteligencji jest czymś naturalnym, a to oczywiście jest w pewnym sensie taki policzek, względem OpenAI, które kiedyś też miało być taką firmą, która właśnie demokratyzuje ten dostęp do sztucznej inteligencji. No i robi się naprawdę ciekawie. Zuckerberg w jednej z rozmów, którą też wspólnie przesłuchiwaliśmy, wspominał, że być może to nie będzie stała tendencja, to nie będzie tak, że Meta będzie wiecznie wypuszczać te otwarte modele, może pojawi się na rynku coś tak dobrego, co po prostu nie będzie możliwe do udostępnienia w takiej formie. Natomiast Lama 3 się pojawia, Lama 3 robi sporo zamieszania. I pomimo tego, że w wielu przypadkach jest to produkt darmowy, taki, z którego możemy korzystać zarówno w warunkach hobbystycznych, jak i komercyjnych, no to tutaj pojawia się bezpośrednia rywalizacja z tymi modelami zamkniętymi, z firmami, które budują swoje modele biznesowe w oparciu właśnie o sztuczną inteligencję. Jak wygląda sama licencja? Nie możesz używać tego modelu, jeśli jesteś dużą korporacją, to znaczy możesz, ale Meta musi ci wydać dedykowaną licencję, o tym wspomina Terms of Service, Jeśli w poprzednim miesiącu kalendarzowym miałeś zarejestrowanych ponad 700 milionów klientów albo aktywnych użytkowników, to musisz wprowadzić taką prywatną konwersację z metą. Tam w licencji jest jeszcze wspomnienie, że być może nie będziesz mógł w ogóle mówić o tym, że twój produkt napędza Lama 3 z różnych powodów. Nie wiem czemu, ale tak właśnie jest. No i nie możesz używać Lamy 3 do celów nielegalnych, wojskowych, związanych z obronnością, jakichś zastosowań, które mają na przykład wprowadzać szkodę i tak dalej i tak dalej. No a poza tym, poza tym ten dostęp się pojawia, może napędzać produkty w mniejszych firmach. No i myślę, że będzie sporą rewolucją.

Marcin

Niewątpliwie, zwłaszcza też patrząc na pricing, który jest mega atrakcyjny, jeżeli sobie porównamy Lame 3, tą 70 miliardów parametrów z konkurencją taką jak chociażby Cloud 3 Sonnet, no to Lama W przypadku Inputu jest 4 razy tańsza, a w przypadku Outputu jest prawie 19 razy tańsza. To jest niesamowita różnica w cenie, a jeżeli porównamy sobie z GPT-4 Turbo to 12 razy taniej za Input i 37 razy taniej za Output przy porównywalnych, bliskich możliwościach, zwłaszcza jeżeli mówimy o programowaniu, kodowaniu. To są niesamowite różnice jeżeli chodzi o pricing. widać, że Zuckerberg naprawdę nie bierze jeńców. No i prawda jest taka, że jeszcze przed nami kolejny duży release w tym roku. Na to wszystko wygląda, czyli trzeci przedstawiciel tej rodziny Lama 3, który będzie się składał z 400 miliardów tokenów, no więc to będzie model zdecydowanie większy, który już będzie wprost konkurował, a zapewne będzie silniejszy od obecnych wersji GPT-4 i Cloud 3 Opus. Wiadomo, że te modele również nie będą stały w miejscu, ale jeżeli chodzi o ich obecny stan, to na podstawie tych benchmarków, które dostaliśmy jako prognozowane od Mety, to są to wyniki po prostu lepsze. Ten model również ma być modelem open source, no więc to jest niesamowite, że coś co jeszcze rok temu było modelem state of the art, teraz będzie modelem open source, który każdy będzie miał do swojej dyspozycji. No więc nic tylko czekać, nic tylko budować nowe rozwiązania. innowacje za pomocą tak tanich i potężnych modeli. No ale o czym warto wspomnieć to, że amerykańska giełda papierów wartościowych wcale tak z otwartymi rękoma Lamy 3 nie przyjęła, bo akcje mety spadły o ponad 15% w ostatnich tygodniach i tutaj inwestorzy najzwyczajniej w świecie boją się tak agresywnej inwestycji Mety i Zuckerberga w AI. Osoby, które dłużej z tą firmą mają dłuższą relację i dłużej inwestują w Metę, to pamiętają czasy VR-u sprzed kilku lat, gdzie również była taka mocna i zdecydowana postawa Zuckerberga, żeby przeznaczać na to większość funduszy rozwojowych. To gdzieś tam się skończyło klapą i tak naprawdę piwotem na AI i pewnie stąd ten sceptycyzm i jakaś obawa. że znowu będzie odejście od tego głównej części biznesu, która przynosi pieniądze, czyli od adców na rzecz rzeczy ryzykownych, z których zwrot jest tak naprawdę niepewny. Ale patrząc na LaM3 jako programista, no i też słuchając Marka Zuckerberga, swoją drogą w bardzo dobrym podcaście, Darkesza Patela, pewnie źle wymówiłem jego imię i nazwisko, ale i tak szanuję, dokładnie tak. Więc no to widać, że ta wizja jest przemyślana, jest zdecydowanie. Są też już pierwsze sukcesy. No więc ja osobiście trzymam kciuki.

Przemek

Mówiąc o dużych korporacjach, porozmawiajmy o Apple, czyli o firmie, która wydaje się, że no zostaje na razie w tyle, jeśli chodzi o ten wyścig wokół generatywnej i sztucznej inteligencji, wyścig wypuszczania dużych modeli o potężnych możliwościach. Natomiast Apple ma też nieco inną strategię jakby pozycjonowania się na tym rynku. nie jest znane z tego, że wypuszcza software, wypuszcza jakieś usługi cloudowe, chociaż też oczywiście mamy iCloud’a, mamy inne tego typu rozwiązania, ale Apple przede wszystkim znane jest z hardware’u, z iPhone’ów, z Mac’ów, z iPad’ów i tego typu rozwiązań. No i Apple też bardzo mocno stawia na prywatność, na to, żeby dane użytkowników nie wyciekały. Prywatność to jest jeden z takich mocniejszych punktów każdej konferencji, kiedy ogląda się wystąpienia właśnie pracowników tej firmy. No i akurat w tym kontekście Apple postanawia publikować Specyficzne modele, modele zdecydowanie mniejszego rozmiaru, ale takie, które właśnie przede wszystkim stawiają na prywatność, mogą działać bez dostępu do internetu, mogą działać na urządzeniach, po prostu mieszczą się na tych urządzeniach, bo to często są też takie ograniczenia bardzo natury takiej fizycznej. Mówimy tutaj o modelach Open ELM, których opublikowano do tej pory 4, mamy stosunkowo mały rozmiar, bo 270 mln 450, 1 miliard i 3 miliardy parametrów, czyli zdecydowanie mniej niż te modele, o których my tutaj zwykle mówimy. Natomiast właśnie tak jak wspomniałem z perspektywy Apple, wyścig nie idzie to, jak duży model można uruchomić na przykład za jakimś API, na jakiejś platformie, tylko jakie modele mogą działać właśnie na naszych iPhone’ach, na naszych Mac’ach czy na naszych iPad’ach. Więc mamy tutaj pewnego rodzaju ograniczenie, na przykład jednym z takich ograniczeń jest mniejsze okno kontekstowe 2048 tokenów, czyli takie okno kontekstowe, od którego się już chyba odzwyczailiśmy mówiąc o tych najnowszych modelach z dużych firm. Też jeśli chodzi o taką czystą wydajność względem benchmarków, no to okazuje się, że jest to, nie wiem Marcin jak ty uważasz, ale wydaje się bardziej teraz sygnał do rynku i taki projekt bardziej oparty o z naciskiem na research niż na uzyskiwanie jakichś konkretnych profitów czy zmienienie tych produktów, no bo okazuje się, że te modele zdecydowanie gorzej wypadają w porównaniu do modeli chociażby takich jak Microsoft FII 3 mini, który ma 3,8 miliarda parametrów, więc mamy publikacje, mamy press release od Apple, natomiast wydaje mi się, że tutaj duże publikacje jeszcze przed nami, szczególnie w kontekście czerwcowej konferencji, ale o tym możemy jeszcze zaraz porozmawiać.

Marcin

Dokładnie tak. Nawet pojawiły się takie głosy krytyczne o tym release, że tak naprawdę te modele Open ELM niewiele wnoszą do branży, no bo one nie są jakkolwiek nawet bliskie topki, jeżeli chodzi o tą skalę. Już nawet nie mówiąc o tym, żeby one miały dorównywać większym modelom, jeżeli chodzi o ilość parametrów. Dość dużo ludzi się tutaj upatruje takiego desperackiego ruchu ze strony Apple, który już jest od kilku miesięcy. krytykowany za to, że jeżeli chodzi o Generative AI to niewiele się dzieje, jeżeli chodzi o Siri to również niewiele się dzieje, więc widzę tutaj jakąś taką stagnację. Część ludzi stwierdziła, że to jest jakaś próba pojawienia się w tego typu podcastach na nagłówkach. żeby jakkolwiek ludzie zaczęli mówić o appy w kontekście sztucznej inteligencji. Miejmy nadzieję, że tak nie jest i że to faktycznie jest po prostu pierwszy release i będzie tego więcej. Tak jak Przemek wspominał, pewnie taką dużą próbą i testem tego, czy ta wersja taka bardziej cyniczna, czy mimo wszystko optymistyczna, Jest sprawdziona, to pokażę, właśnie czerwcowa konferencja dla deweloperów. Chodzą pogłoski o tym, że Apple będzie współpracowało z Googlem, z OpenAI. Zobaczymy, co z tego wszystkiego wyniknie. Myślę, że przyszłość, w której możemy uruchamiać model na naszych smartfonach, na naszych iPhonach, byłaby naprawdę ciekawa, jeszcze w sposób w pełni prywatny. niekorzystający z zasobów w chmurze. Na pewno jest na to rynek, jest na to popyt. Wszelkiego rodzaju aplikacje mobilne mogłyby z takich rozwiązań korzystać, więc to na pewno ma sens. Tylko pytanie, czy Apple uda się tutaj dowieść, czy mimo wszystko rynek właśnie tych najmniejszych modeli wygra Microsoft z takimi modelami jak Fitch Mini, który obecnie jest zdecydowanym liderem i bije tę modelę Open L. na głowę. No, więc trzymamy kciuki za Apple’a, ja przynajmniej trzymam Przemek też, obydwoje jesteśmy użytkownikami, fanami rozwiązań od Apple, więc tutaj oby Tim Cook i ekipa odnaleźli się w tym świecie generatywnej, sztucznej inteligencji. I myślę, że tym optymistycznym akcentem możemy przejść do trzeciego głównego tematu tego odcinka, czyli dwóch kwietniowych releasów od firmy Cohir. Jak Przemek mówił, oni wcześniej nie gościli w naszym podcaście, ale zintensyfikowali działania w ostatnich miesiącach i widać tego na macalnym efekty. Pierwszym z nich jest nowy model Command R+, model skierowany stricte pod potrzeby przedsiębiorstw, pod zaawansowane rozwiązania korzystające z RAG. czyli wszelkiego rodzaju bazy wiedzy. O to właśnie chodzi Cohere, aby tutaj być najlepszym na rynku dostawcą modeli i też dostawcą konkretnych rozwiązań. Jeżeli chodzi o Air+, no to to jest model o naprawdę solidnej wydajności, porównywalny z Sonnetem, z Amount 3, również gdzieś w tych leaderboardach dostępnych na Hugging Face. znajduje się w pierwszej dziesiątce i bardzo dobrze sobie radzi. Co ciekawe, ten model też został opublikowany z otwartymi wagami, więc możemy zobaczyć jak ten model. Jest to tak naprawdę bardziej otwarty model niż Lama 3, gdzie tych wag nie widzimy. Tym niemniej jest to tylko do celów researchowych. Nie możemy z tego skorzystać w celach komercyjnych, więc to jest ta zasadnicza różnica. Oprócz tego mamy oczywiście dostęp do wykorzystywania function calling, o czym mówiliśmy w kontekście Cloud 3, no to również w takich rozwiązaniach Enterprise dla przedsiębiorstw to jest bardzo ważna funkcja modeli, żeby gdzieś tam ten function calling był dostępny, więc mamy kolejny sensowny model z takimi możliwościami obok GPT-4 i modeli z rodziny Cloud 3. Jeżeli chodzi o skuteczność tego wspomnianego RAGA, no to w testach Cohir wypada ich model Air Plus lepiej od Soneta i od GPT-4 Turbo, chociaż tutaj już ta różnica nie jest taka znaczna. Znaczna to jest różnica w cenie, gdzie Cohir jest znacznie tańszy konkurencji, więc jeżeli szukamy wydajnego i efektywnego kosztowo rozwiązania do bazy wiedzy w naszej przedsiębiorstwie, no to AirPluska jest tutaj zdecydowanie rozsądnym wyborem. No ale oprócz AirPlus dostaliśmy też do dyspozycji Toolkit. Może Przemek opowiesz cóż to jest za rozwiązanie i dlaczego wzbudziło nasze zainteresowanie.

Przemek

Dokładnie tak. Cohere Toolkit to jest rozwiązanie framework szkielet aplikacji z wałek z wał, opublikowane na GitHubie pod organizacją Cohere AI, które ma umożliwić programistom integrowanie, budowanie i wdrażanie aplikacji opartych o właśnie modele językowe, modele sztucznej inteligencji, ale też wewnętrzne zasoby, wewnętrzne bazy wiedzy. Myślę, że ten główny problem, który tego typu rozwiązania rozwiązują, to jest właśnie ta problematyczna integracja. Kiedy wchodzimy do świata sztucznej.