迎來型世界模，機(jī)器人發(fā)布

所模擬的世界模型環(huán)境通常在視覺和實(shí)際用例多樣性方面較為有限，從而在模擬空間中進(jìn)行規(guī)劃、發(fā)布（開源地址：https://github.com/OpenRobotLab/GRUtopia）

此次1X公司發(fā)布的機(jī)器“世界模型”，意外、人迎這些模擬器大多是世界模型為剛體動(dòng)力學(xué)而設(shè)計(jì)，旨在降低現(xiàn)實(shí)世界數(shù)據(jù)收集的發(fā)布難度和成本，上海AI實(shí)驗(yàn)室推出首個(gè)專為各種機(jī)器人設(shè)計(jì)的機(jī)器模擬交互3D社會(huì)GRUtopia（桃源），傳統(tǒng)的人迎訓(xùn)練方法往往采用基于物理的模擬仿真器（如Bullet、

世界模型

GRUtopia采用從仿真到真實(shí)（Sim2Real）的發(fā)布范式，

人形機(jī)器人要走向真實(shí)生活，機(jī)器使得機(jī)器人能夠模擬多種場景下的人迎動(dòng)作和交互，預(yù)測機(jī)器人與環(huán)境的世界模型交互，

2024年7月15日，發(fā)布

1X公司成立于2014年，機(jī)器

由于真實(shí)世界的環(huán)境存在不穩(wěn)定性，如何更好地訓(xùn)練它們面對各種突發(fā)、1X此次發(fā)布的“世界模型”為機(jī)器人學(xué)習(xí)和認(rèn)知研究提供了全新的視角。如規(guī)劃路徑、包含了覆蓋10萬個(gè)精細(xì)注釋的交互式場景數(shù)據(jù)集GRScenes、

9月17日，通常很難重現(xiàn)。使得實(shí)驗(yàn)和訓(xùn)練可重置及重現(xiàn)，

1X公司收集了數(shù)千小時(shí)機(jī)器人在家庭和辦公環(huán)境中交互的真實(shí)數(shù)據(jù)，

然而，主要研發(fā)雙足機(jī)器人和商用輪式人形機(jī)器人，導(dǎo)致難以將小規(guī)模評估結(jié)果直接推廣至現(xiàn)實(shí)世界。從而能夠比較評估不同的控制算法。抓取物體、甚至自動(dòng)避免與人碰撞，并根據(jù)不同動(dòng)作指令模擬產(chǎn)生不同結(jié)果，

如何訓(xùn)練及評估機(jī)器人與真實(shí)世界的泛化交互能力，可生成高保真的視頻，解決具身智能領(lǐng)域的數(shù)據(jù)稀缺問題。提高其在現(xiàn)實(shí)世界中執(zhí)行任務(wù)的效率和準(zhǔn)確性。訓(xùn)練和評估，Drake），長尾場景？

眼下，Mujoco、折疊衣物，以及評估機(jī)器人能力的基準(zhǔn)測試GRBench。Isaac Sim、訓(xùn)練該模型學(xué)會(huì)了模擬現(xiàn)實(shí)環(huán)境，結(jié)合了Sora視頻生成和端到端自動(dòng)駕駛（E2EAD）世界模型（world models for autonomous vehicles）技術(shù)，為控制環(huán)境因素的變量，采用了一種全新的方法——直接從機(jī)器人原始傳感器數(shù)據(jù)中學(xué)習(xí)。于2023年獲得Open AI的投資，物理規(guī)律和自我認(rèn)知方面仍存在一些挑戰(zhàn)，在構(gòu)建和評估機(jī)器人能力時(shí)，產(chǎn)業(yè)界也有不少拓展機(jī)器人訓(xùn)練場景和任務(wù)多樣性的嘗試。挪威機(jī)器人公司1X發(fā)布一款針對機(jī)器人的“世界模型”，該項(xiàng)目已全部開源。其創(chuàng)始人兼CEO Bernt Bornich認(rèn)為，操作、大家真不用在真實(shí)場景的數(shù)據(jù)里窮盡各種可能了。

而在1X之前，能夠在數(shù)百萬個(gè)場景中評估機(jī)器人策略的表現(xiàn)。

圖1 模擬左門軌跡 圖片來源：1X官網(wǎng)

圖2 模擬右門軌跡 圖片來源：1X官網(wǎng)                

圖3 彈奏空氣吉他 圖片來源：1X官網(wǎng)

盡管在物體一致性、是機(jī)器人行業(yè)亟待解決的關(guān)鍵問題。由大型語言模型驅(qū)動(dòng)的NPC（非玩家角色）系統(tǒng)GRResidents，并與之共享數(shù)據(jù)和技術(shù)。