Uvod

Mislite li da će Grok3 biti "krajnja točka" prethodno obučenih modela?

Elon Musk i xAI tim službeno su lansirali najnoviju verziju Groka, Grok3, tijekom prijenosa uživo. Prije ovog događaja, značajna količina povezanih informacija, zajedno s Muskovom 24/7 promotivnom pompom, podigla je globalna očekivanja za Grok3 na neviđene razine. Prije samo tjedan dana, Musk je samouvjereno izjavio tijekom prijenosa uživo komentirajući DeepSeek R1: "xAI će uskoro lansirati bolji AI model." Iz podataka predstavljenih uživo, Grok3 je navodno nadmašio sve trenutne mainstream modele u mjerilima za matematiku, znanost i programiranje, a Musk je čak tvrdio da će se Grok3 koristiti za računalne zadatke povezane s misijama SpaceX-a na Mars, predviđajući "proboje na razini Nobelove nagrade u roku od tri godine". Međutim, to su trenutno samo Muskove tvrdnje. Nakon lansiranja, testirao sam najnoviju beta verziju Grok3 i postavio klasično trik pitanje za velike modele: "Koji je veći, 9,11 ili 9,9?" Nažalost, bez ikakvih kvalifikatora ili oznaka, takozvani najpametniji Grok3 i dalje nije mogao točno odgovoriti na ovo pitanje. Grok3 nije uspio točno odrediti značenje pitanja.

Ovaj test brzo je privukao znatnu pozornost mnogih prijatelja, a slučajno su razni slični testovi u inozemstvu pokazali da se Grok3 muči s osnovnim pitanjima iz fizike/matematike poput "Koja kugla prva pada s Kosog tornja u Pisi?" Stoga je duhovito nazvan "genijem koji ne želi odgovoriti na jednostavna pitanja".

Grok3 je dobar, ali nije bolji od R1 ili o1-Pro.

Grok3 je u praksi doživio "neuspjehe" na mnogim testovima općeg znanja. Tijekom događaja lansiranja xAI-a, Musk je demonstrirao korištenje Grok3-a za analizu klasa likova i efekata iz igre Path of Exile 2, koju je, kako je tvrdio, često igrao, ali većina odgovora koje je dao Grok3 bila je netočna. Musk tijekom prijenosa uživo nije primijetio ovaj očiti problem.

Ova pogreška ne samo da je pružila daljnji dokaz inozemnim korisnicima interneta da se rugaju Musku zbog "pronalaženja zamjene" u igrama, već je i izazvala značajnu zabrinutost u vezi s pouzdanošću Grok3 u praktičnim primjenama. Za takvog "genija", bez obzira na njegove stvarne sposobnosti, njegova pouzdanost u izuzetno složenim scenarijima primjene, poput zadataka istraživanja Marsa, ostaje upitna.

Trenutno, mnogi testeri koji su dobili pristup Grok3 prije nekoliko tjedana, i oni koji su jučer testirali mogućnosti modela nekoliko sati, svi ukazuju na zajednički zaključak: "Grok3 je dobar, ali nije bolji od R1 ili o1-Pro."

Kritička perspektiva o "poremećaju Nvidije"

U službeno predstavljenoj PPT prezentaciji tijekom izlaska, Grok3 je pokazao da je "daleko ispred" u Chatbot Areni, ali je pritom pametno koristio grafičke tehnike: vertikalna os na ljestvici najboljih prikazivala je samo rezultate u rasponu od 1400-1300 bodova, zbog čega se izvorna razlika od 1% u rezultatima testa čini izuzetno značajnom u ovoj prezentaciji.

U stvarnim rezultatima bodovanja modela, Grok3 je samo 1-2% ispred DeepSeek R1 i GPT-4.0, što odgovara iskustvima mnogih korisnika u praktičnim testovima koji nisu pronašli "nikakvu primjetnu razliku". Grok3 nadmašuje svoje nasljednike samo za 1%-2%.

Iako je Grok3 postigao viši rezultat od svih trenutno javno testiranih modela, mnogi to ne shvaćaju ozbiljno: uostalom, xAI je prethodno bio kritiziran zbog "manipulacije rezultatima" u eri Grok2. Kako je ljestvica najboljih kažnjavala stil duljine odgovora, rezultati su se znatno smanjili, što je navelo stručnjake iz industrije da često kritiziraju fenomen "visokog rezultata, ali niske sposobnosti".

Bilo da se radi o "manipulaciji" s ljestvicom najboljih ili dizajnerskim trikovima u ilustracijama, oni otkrivaju xAI i Muskovu opsesiju idejom "vođenja u konkurenciji" u mogućnostima modela. Musk je platio visoku cijenu za te marže: tijekom lansiranja pohvalio se korištenjem 200 000 H100 GPU-ova (tvrdeći da je koristio "preko 100 000" tijekom prijenosa uživo) i postizanjem ukupnog vremena obuke od 200 milijuna sati. To je neke navelo na pomisao da to predstavlja još jedan značajan dobitak za GPU industriju i da utjecaj DeepSeeka na sektor smatraju "glupim". Posebno, neki vjeruju da će sama računalna snaga biti budućnost obuke modela.

Međutim, neki su korisnici interneta usporedili potrošnju 2000 H800 GPU-ova tijekom dva mjeseca za proizvodnju DeepSeek V3, izračunavši da je stvarna potrošnja energije za trening Grok3 263 puta veća od one kod V3. Razlika između DeepSeek V3, koji je postigao 1402 boda, i Grok3 je nešto manja od 100 bodova. Nakon objavljivanja ovih podataka, mnogi su brzo shvatili da se iza Grok3 titule "najjačeg na svijetu" krije jasan učinak marginalne korisnosti - logika većih modela koji generiraju jače performanse počela je pokazivati smanjene prinose.

Čak i s "visokim rezultatom, ali niskom sposobnošću", Grok2 je imao ogromne količine visokokvalitetnih podataka prve strane s platforme X (Twitter) za podršku korištenju. Međutim, prilikom obuke Grok3, xAI je prirodno naišao na "plafon" s kojim se OpenAI trenutno suočava - nedostatak vrhunskih podataka za obuku brzo otkriva marginalnu korisnost mogućnosti modela.

Razvojni programeri Grok3-a i Muska vjerojatno su prvi koji će duboko razumjeti i identificirati ove činjenice, zbog čega Musk na društvenim mrežama kontinuirano spominje da je verzija koju korisnici trenutno koriste "još uvijek samo beta" i da će "puna verzija biti objavljena u nadolazećim mjesecima". Musk je preuzeo ulogu voditelja proizvoda Grok3-a, predlažući korisnicima da daju povratne informacije o raznim problemima s kojima se susreću u odjeljku za komentare. On bi mogao biti najpraćeniji voditelj proizvoda na Zemlji.

Ipak, unutar jednog dana, performanse Grok3-a nesumnjivo su uznemirile one koji se nadaju osloniti na "masivnu računalnu snagu" za treniranje jačih velikih modela: na temelju javno dostupnih Microsoftovih informacija, OpenAI-jev GPT-4 ima veličinu parametara od 1,8 bilijuna parametara, što je više od deset puta više od GPT-3. Glasine sugeriraju da bi veličina parametra GPT-4.5 mogla biti i veća.

Kako veličine parametara modela rastu, troškovi obuke također vrtoglavo rastu. S prisutnošću Grok3, konkurenti poput GPT-4.5 i drugih koji žele nastaviti „trošiti novac“ kako bi postigli bolje performanse modela putem veličine parametara moraju uzeti u obzir gornju granicu koja je sada jasno na vidiku i razmisliti kako je prevladati. U ovom trenutku, Ilya Sutskever, bivši glavni znanstvenik u OpenAI-ju, prethodno je prošlog prosinca izjavio: „Predtrening s kojim smo upoznati doći će kraju“, što se ponovno pojavilo u raspravama, potičući napore da se pronađe pravi put za obuku velikih modela.

Iljino gledište uzbunilo je industriju. Točno je predvidio skoru iscrpljenost dostupnih novih podataka, što će dovesti do situacije u kojoj se performanse ne mogu nastaviti poboljšavati prikupljanjem podataka, uspoređujući to s iscrpljivanjem fosilnih goriva. Naznačio je da je "poput nafte, sadržaj koji generiraju ljudi na internetu ograničen resurs". Prema Sutskeverovim predviđanjima, sljedeća generacija modela, nakon prethodne obuke, posjedovat će "istinsku autonomiju" i sposobnosti rasuđivanja "slične ljudskom mozgu".

Za razliku od današnjih prethodno obučenih modela koji se prvenstveno oslanjaju na usklađivanje sadržaja (na temelju prethodno naučenog sadržaja modela), budući AI sustavi moći će učiti i uspostavljati metodologije za rješavanje problema na način sličan "razmišljanju" ljudskog mozga. Čovjek može postići temeljnu vještinu u nekom predmetu samo s osnovnom stručnom literaturom, dok veliki AI model zahtijeva milijune podatkovnih točaka kako bi postigao samo najosnovniju početnu učinkovitost. Čak i kada se formulacija malo promijeni, ova temeljna pitanja možda neće biti ispravno shvaćena, što ilustrira da se model nije istinski poboljšao u inteligenciji: osnovna, ali nerješiva pitanja spomenuta na početku članka predstavljaju jasan primjer ovog fenomena.

Zaključak

Međutim, osim grube sile, ako Grok3 doista uspije otkriti industriji da se "pretrenirani modeli bliže kraju", to bi imalo značajne implikacije za to područje.

Možda ćemo, nakon što se ludilo oko Grok3 postupno smiri, svjedočiti više slučajeva poput Fei-Fei Lijevog primjera "podešavanja visokoučinkovitih modela na određenom skupu podataka za samo 50 dolara", što će u konačnici otkriti pravi put do AGI-ja.