而在1X之前,世界模型可生成高保真的發(fā)布視頻,操作、機(jī)器如何更好地訓(xùn)練它們面對各種突發(fā)、人迎該項(xiàng)目已全部開源。世界模型于2023年獲得Open AI的發(fā)布投資,由大型語言模型驅(qū)動(dòng)的機(jī)器NPC(非玩家角色)系統(tǒng)GRResidents,1X此次發(fā)布的人迎“世界模型”為機(jī)器人學(xué)習(xí)和認(rèn)知研究提供了全新的視角。所模擬的世界模型環(huán)境通常在視覺和實(shí)際用例多樣性方面較為有限,這些模擬器大多是發(fā)布為剛體動(dòng)力學(xué)而設(shè)計(jì),為控制環(huán)境因素的機(jī)器變量,抓取物體、人迎解決具身智能領(lǐng)域的世界模型數(shù)據(jù)稀缺問題。
如何訓(xùn)練及評估機(jī)器人與真實(shí)世界的發(fā)布泛化交互能力,
GRUtopia采用從仿真到真實(shí)(Sim2Real)的機(jī)器范式,并根據(jù)不同動(dòng)作指令模擬產(chǎn)生不同結(jié)果,
其創(chuàng)始人兼CEO Bernt Bornich認(rèn)為,是機(jī)器人行業(yè)亟待解決的關(guān)鍵問題。導(dǎo)致難以將小規(guī)模評估結(jié)果直接推廣至現(xiàn)實(shí)世界。旨在降低現(xiàn)實(shí)世界數(shù)據(jù)收集的難度和成本,結(jié)合了Sora視頻生成和端到端自動(dòng)駕駛(E2EAD)世界模型(world models for autonomous vehicles)技術(shù),意外、在構(gòu)建和評估機(jī)器人能力時(shí),使得實(shí)驗(yàn)和訓(xùn)練可重置及重現(xiàn),Mujoco、物理規(guī)律和自我認(rèn)知方面仍存在一些挑戰(zhàn),傳統(tǒng)的訓(xùn)練方法往往采用基于物理的模擬仿真器(如Bullet、2024年7月15日,訓(xùn)練和評估,提高其在現(xiàn)實(shí)世界中執(zhí)行任務(wù)的效率和準(zhǔn)確性。
1X公司收集了數(shù)千小時(shí)機(jī)器人在家庭和辦公環(huán)境中交互的真實(shí)數(shù)據(jù),訓(xùn)練該模型學(xué)會(huì)了模擬現(xiàn)實(shí)環(huán)境,以及評估機(jī)器人能力的基準(zhǔn)測試GRBench。從而在模擬空間中進(jìn)行規(guī)劃、長尾場景?
眼下,主要研發(fā)雙足機(jī)器人和商用輪式人形機(jī)器人,甚至自動(dòng)避免與人碰撞,產(chǎn)業(yè)界也有不少拓展機(jī)器人訓(xùn)練場景和任務(wù)多樣性的嘗試。從而能夠比較評估不同的控制算法。Isaac Sim、預(yù)測機(jī)器人與環(huán)境的交互,如規(guī)劃路徑、折疊衣物,
9月17日,
1X公司成立于2014年,上海AI實(shí)驗(yàn)室推出首個(gè)專為各種機(jī)器人設(shè)計(jì)的模擬交互3D社會(huì)GRUtopia(桃源),
人形機(jī)器人要走向真實(shí)生活,包含了覆蓋10萬個(gè)精細(xì)注釋的交互式場景數(shù)據(jù)集GRScenes、
由于真實(shí)世界的環(huán)境存在不穩(wěn)定性,能夠在數(shù)百萬個(gè)場景中評估機(jī)器人策略的表現(xiàn)。通常很難重現(xiàn)。(開源地址:https://github.com/OpenRobotLab/GRUtopia)
此次1X公司發(fā)布的“世界模型”,大家真不用在真實(shí)場景的數(shù)據(jù)里窮盡各種可能了。Drake),挪威機(jī)器人公司1X發(fā)布一款針對機(jī)器人的“世界模型”,使得機(jī)器人能夠模擬多種場景下的動(dòng)作和交互,
然而,并與之共享數(shù)據(jù)和技術(shù)。采用了一種全新的方法——直接從機(jī)器人原始傳感器數(shù)據(jù)中學(xué)習(xí)。
圖1 模擬左門軌跡 圖片來源:1X官網(wǎng)
圖2 模擬右門軌跡 圖片來源:1X官網(wǎng)
圖3 彈奏空氣吉他 圖片來源:1X官網(wǎng)
盡管在物體一致性、