Davanjem instrukcija prirodnim jezikom, kao što je slaganje peškira, zatvaranje fioke ili kačenje slušalica — baš kao što se postavlja pitanje ChatGPT-u — programeri sada mogu putem otvorenog interfejsa naterati robota da izvršava zadatke u stvarnom svetu.
Dana 20. oktobra, Dream Labs, kompaniju koju je osnovao tim bivših ključnih članova NVIDIA GR00T, pustio je u rad Dream API — prvi svetski robotski osnovni model API otvoren za javnost. Mi Feng Technology pruža mu sveobuhvatne usluge kroz ceo proces — od podataka bez tela, podataka sa stvarnih robota, do testiranja i evaluacije na stvarnim robotima — za svetski akcioni model Dream-1 koji stoji u pozadini, podržavajući razvoj modela i verifikaciju izvodljivosti zero-shot generalizacije.
Kako troškovi robotskog hardvera nastavljaju da padaju, industrija hitno zahteva „univerzalni mozak" koji se može ponovo koristiti između zadataka i između različitih tela robota, smanjujući troškove ponovnog treniranja i prilagođavanja pri svakoj zameni robota ili zadatka. Dream API otvara robotske modelske sposobnosti javnosti u obliku API-ja, tako da programeri bez mašinskog učenja u pozadini mogu povezati sopstvenog robota i upravljati njime putem instrukcija na prirodnom jeziku. Cena korišćenja Dream-1 iznosi 3 dolara po satu. Trenutno je više od 20 proizvođača hardvera pristupilo saradnji.
Dream API u pozadini pokreće svetski akcioni model (WAM) Dream-1, koji zajednički uči predviđanje video sadržaja i generisanje akcija, omogućavajući upravljanje robotom u realnom vremenu i u zatvorenoj petlji. Prema navodima tima, u simulacionoj evaluaciji na 27 vrsta robota koje model nikada nije video, 24 vrste su postigle više od polovine performansi tela YAM na kojem je model treniran; na stvarnim robotima, Dream-1 može da obavi zadatke poput slaganja peškira, zatvaranja fioke i kačenja slušalica bez dodatnog treniranja sa podacima specifičnim za ciljni robot. Trenutno je njegova zero-shot sposobnost prenošenja između različitih tela prvenstveno namenjena robotima sa dve ruke i paralelnim hvataljkama.
Da bi robot „iz prve" savladao novo telo bez dodatnog treniranja, neophodno je akumuliranje podataka za treniranje i provera kroz stvarno izvršavanje.
U ovoj saradnji, Mi Feng Technology obezbeđuje podatke bez tela za predtreniranje svetskog akcionog modela Dream-1, kroz bogate informacije o ljudskim manipulacijama i interakcijama sa objektima podržavajući model da nauči procese izvršavanja različitih zadataka; istovremeno obezbeđuje podatke sa stvarnih robota, dopunjujući iskustva o kretanju, manipulaciji i kontaktu tokom stvarnog izvršavanja robota. Dve vrste podataka se međusobno dopunjuju, pružajući podršku za učenje sposobnosti modela i iterativnu optimizaciju.
Od snabdevanja podacima do verifikacije na stvarnim robotima, Mi Feng dodatno pruža usluge testiranja i evaluacije, pomažući timu da proveri izvodljivost zero-shot generalizacije Dream-1 na novim telima. Posmatranjem razumevanja instrukcija od strane robota, procesa izvršavanja zadataka i stepena završenosti, procenjuje se da li se postojeće sposobnosti modela mogu preneti na nove robote, identifikuju se problemi u izvršavanju i pruža osnova za naknadno dopunjavanje podataka, optimizaciju modela i prilagođavanje tela.
Kao jednoobrazna platforma za usluge podataka u fizičkoj AI, Mi Feng je izgradio sistem usluga podataka koji pokriva podatke bez tela, daljinsko upravljanje stvarnim robotima i simulaciju. Ovim pružanjem podrške Dream-1, povezuje snabdevanje podacima sa verifikacijom izvršavanja, dodatno proširujući praksu Mi Feng-a u pružanju usluga razvoja osnovnih modela.
U budućnosti, Mi Feng će nastaviti da proširuje snabdevanje visokokvalitetnim podacima, unapređuje upravljanje podacima, standardizovanu isporuku i sposobnosti evaluacije na stvarnim robotima, pružajući sveobuhvatne usluge timovima za razvoj modela, proizvođačima robota i naučnoistraživačkim institucijama, podstičući robotske modele ka sve više stvarnih scenarija.
