Kada se vodeći modeli tri velika AI giganta — OpenAI, Anthropic i Google — nadmeću na istoj sceni, ko je bolji u upravljanju robotima?
Dana 20. oktobra, RoboColiseum (具身角斗场), koji su zajednički pokrenuli skoro 20 univerziteta, kompanija i istraživačkih institucija iz celog sveta, uključujući Mifeng Technology, Hugging Face, NVIDIA i Univerzitet Tsinghua, objavio je rezultate ovog kruga evaluacije: Claude Opus 5.5 zauzeo je prvo mesto u ukupnom plasmanu među četiri vodeća modela, a GPT-6 Astra je odmah iza njega.
Posmatrano po kategorijama, među četiri vodeća modela, GPT-6 Astra prednjači u praćenju instrukcija i adaptaciji na ukupne perturbacije, pri čemu je ocena za praćenje instrukcija dostigla 99,35; Opus je pokazao bolje rezultate u prostornom razumevanju i opštim operacijama, i osvojio je prvo mesto u ukupnom plasmanu u grupi vodećih modela uz najmanju potrošnju tokena u svim rundama evaluacije. U testu sa perturbacijama kvaliteta slike, GPT-6.1 Sol je jasno zaostajao za ostala tri modela, što pokazuje razlike u stabilnosti različitih modela pri reagovanju na promene vizuelnih informacija.
Međutim, prva dva mesta u ukupnom plasmanu ovog kruga i dalje zauzimaju modeli embodied strategija, koji posebno zadržavaju prednost u dimenziji opštih operacija.
Ovo zajedničko nadmetanje pruža industriji direktan uvid u prednosti i slabosti opštih velikih modela i modela embodied strategija.
RoboColiseum je, oko praćenja instrukcija, prostornog razumevanja, adaptacije na perturbacije i opštih operacija, predstavio četiri podrang liste sposobnosti i 78 visokoverodostojnih simulacionih evaluacionih zadataka, koji prikazuju kako pojedinačne rezultate modela, tako i beleže korake izvršenja zadataka i mesta neuspeha, pomažući programerima da brzo lociraju slabosti u sposobnostima modela.
Kao suosnivač, Mifeng obezbeđuje visokoverodostojne asset-e objekata i simulacione scenarije za RoboColiseum, podržavajući izgradnju evaluacionih okruženja za složene robotske operacione zadatke i pružajući osnovne resurse za testiranje sposobnosti modela u različitim interakcijama sa objektima, prostornim rasporedima i uslovima okruženja.
Da li rezultati modela u simulaciji mogu odražavati stvarne operacione performanse takođe je ključno pitanje evaluacije. Prema rezultatima stvarnog testiranja koje je platforma objavila, korelacija između simulacione evaluacije RoboColiseum i stvarnog postavljanja na robotima dostiže 89,5%, a razlika u evaluaciji istog modela između simulacije i stvarnog sveta je manja od 10%, što može poslužiti kao referenca za programere pri selekciji modela i lociranju problema pre ulaska u testiranje na stvarnim robotima.
Mifeng Technology pruža sistem snabdevanja podacima koji je „sveobuhvatan, kvalitetan i brz“, pokrivajući tri glavne paradigme podataka: stvarne robote, simulaciju i bez tela. U pogledu simulacije, Mifeng pruža dve vrste resursa — asset-e objekata i asset-e okruženja — pokrivajući razne svakodnevne predmete i unutrašnje scene, i nudi mogućnosti kao što su rekonstrukcija scena, prikupljanje ekspertskih trajektorijskih podataka i vizualizacija rezultata evaluacije, pomažući timovima za modele da sprovode raznoliko treniranje i evaluaciju.
Coliseum prvobitno označava drevni rimski kružni amfiteatar; RoboColiseum koristi ovu sliku kao metaforu za izgradnju višedimenzionalnog sistema evaluacije, pružajući embodied inteligentnim modelima javnu, neutralnu i reproduktivnu „arenu“ i „poligon za treniranje“ kroz simulacionu evaluaciju koja je visoko usklađena sa performansama na stvarnim robotima. Svaki univerzitet, istraživačka institucija ili programer iz kompanije može predati svoj model i proći kroz standardizovani „ispit“. Od pokretanja u avgustu, više od 100 timova iz zemlje i inostranstva sprovodi treniranje i evaluaciju modela na platformi.
RoboColiseum je sada otvoren za programere širom sveta i poziva timove za modele da učestvuju u evaluaciji.
