在科技飛速發(fā)展的當(dāng)下，人工智能領(lǐng)域的每一次突破都如同璀璨星辰，照亮人類(lèi)前行的道路。近日，上海人工智能實(shí)驗(yàn)室（上海 AI 實(shí)驗(yàn)室）重磅開(kāi)源了生成式世界模型 AETHER，這一消息猶如一顆投入平靜湖面的巨石，激起層層漣漪，為人工智能的發(fā)展注入了新的強(qiáng)大動(dòng)力。

傳統(tǒng)世界模型在自動(dòng)駕駛與游戲開(kāi)發(fā)等領(lǐng)域有廣泛應(yīng)用，它主要依靠豐富的動(dòng)作標(biāo)簽來(lái)預(yù)測(cè)接下來(lái)的視覺(jué)畫(huà)面。然而，其短板也十分明顯。由于缺乏對(duì)真實(shí)三維空間的建模能力，預(yù)測(cè)結(jié)果常常出現(xiàn)違背物理規(guī)律的現(xiàn)象。在面對(duì)復(fù)雜多變的真實(shí)場(chǎng)景時(shí)，受限于真實(shí)數(shù)據(jù)的不足，其泛化能力更是捉襟見(jiàn)肘。

為了攻克這些難題，上海 AI 實(shí)驗(yàn)室的研究團(tuán)隊(duì)潛心鉆研，提出了生成式世界模型 AETHER。該模型基于三維時(shí)空建模，通過(guò)引入并構(gòu)建幾何空間，讓模型空間推理的準(zhǔn)確性與一致性得到大幅提升。研究團(tuán)隊(duì)利用海量仿真 RGBD 數(shù)據(jù)，精心開(kāi)發(fā)了一套完整的數(shù)據(jù)清洗與動(dòng)態(tài)重建流程，同時(shí)標(biāo)注了豐富的動(dòng)作序列。在此基礎(chǔ)上，他們創(chuàng)新性地提出一種多模態(tài)數(shù)據(jù)的動(dòng)態(tài)融合機(jī)制，將動(dòng)態(tài)重建、視頻預(yù)測(cè)和動(dòng)作規(guī)劃這三項(xiàng)任務(wù)融合在一個(gè)統(tǒng)一的框架中進(jìn)行優(yōu)化，實(shí)現(xiàn)了真正的一體化多任務(wù)協(xié)同，極大地提高了模型的穩(wěn)定性與魯棒性。

實(shí)驗(yàn)數(shù)據(jù)是比較好的證明。傳統(tǒng)世界模型通常只關(guān)注 RGB 圖像的預(yù)測(cè)，而忽視了背后隱含的幾何信息。當(dāng)引入空間建模后，各項(xiàng)指標(biāo)均有明顯提升，其中視頻一致性指標(biāo)提升約 4%。更令人驚嘆的是，即使使用合成數(shù)據(jù)進(jìn)行訓(xùn)練，AETHER 模型在真實(shí)環(huán)境中依然展現(xiàn)出強(qiáng)大的零樣本泛化能力，這意味著它可以在未接觸過(guò)的真實(shí)場(chǎng)景中迅速適應(yīng)并發(fā)揮作用。

AETHER 模型在框架中實(shí)現(xiàn)了三項(xiàng)關(guān)鍵技術(shù)突破，明顯提升了具身系統(tǒng)在動(dòng)態(tài)環(huán)境中的感知、建模與決策能力。

其一，目標(biāo)導(dǎo)向視覺(jué)規(guī)劃。AETHER 能夠根據(jù)起始與目標(biāo)場(chǎng)景，自動(dòng)生成一條實(shí)現(xiàn)視覺(jué)目標(biāo)的合理路徑，并以視頻形式呈現(xiàn)全過(guò)程。通過(guò)聯(lián)合優(yōu)化重建與預(yù)測(cè)目標(biāo)，它內(nèi)嵌空間幾何先驗(yàn)知識(shí)，使生成結(jié)果兼具物理合理性。這一特性讓具身智能系統(tǒng)如同擁有智慧的人類(lèi)，能夠 “看路規(guī)劃”。例如，搭載該模型的機(jī)器人通過(guò)攝像頭觀察周?chē)h(huán)境后，能自動(dòng)生成既安全又符合物理規(guī)律的行動(dòng)路線，在復(fù)雜的環(huán)境中自由穿梭，完成各種任務(wù)。

其二，4D 動(dòng)態(tài)重建。AETHER 通過(guò)自動(dòng)標(biāo)注流水線，構(gòu)建合成 4D 數(shù)據(jù)集，無(wú)需真實(shí)世界數(shù)據(jù)即可實(shí)現(xiàn)零樣本遷移，精細(xì)捕捉并重建時(shí)空環(huán)境的動(dòng)態(tài)變化。以輸入一段街景視頻為例，系統(tǒng)能夠快速重建包含時(shí)間維度的三維場(chǎng)景模型，精確呈現(xiàn)行人行走、車(chē)輛運(yùn)動(dòng)等動(dòng)態(tài)過(guò)程，建模精度可達(dá)毫米級(jí)。這一技術(shù)在城市規(guī)劃、智能安防等領(lǐng)域有著巨大的應(yīng)用潛力，能夠?yàn)橄嚓P(guān)決策提供極為精細(xì)的場(chǎng)景數(shù)據(jù)支持。

其三，動(dòng)作條件視頻預(yù)測(cè)。AETHER 創(chuàng)新性地采用相機(jī)軌跡作為全局動(dòng)作表征，可直接基于初始視覺(jué)觀察和潛在動(dòng)作，預(yù)測(cè)未來(lái)場(chǎng)景的變化趨勢(shì)。這就如同給具身智能系統(tǒng)裝上了一個(gè)能夠預(yù)測(cè)未來(lái)的 “神奇鏡頭”。與傳統(tǒng)預(yù)測(cè)圖像變化的世界模型不同，AETHER 不僅能同時(shí)完成四維時(shí)空的重建與預(yù)測(cè)，還支持由動(dòng)作控制驅(qū)動(dòng)的場(chǎng)景推演與路徑規(guī)劃。并且，該方法完全在虛擬數(shù)據(jù)上訓(xùn)練，即可實(shí)現(xiàn)對(duì)真實(shí)世界的零樣本泛化，展現(xiàn)出不可比擬的跨域遷移能力。

AETHER 模型通過(guò)巧妙組合不同的條件輸入，如觀察幀、目標(biāo)幀和動(dòng)作軌跡，再結(jié)合擴(kuò)散過(guò)程，實(shí)現(xiàn)對(duì)多種任務(wù)的統(tǒng)一建模與生成?？梢孕蜗蟮卣f(shuō)，觀察幀提供了 “現(xiàn)在的樣子”，目標(biāo)幀給出了 “未來(lái)的樣子”，動(dòng)作軌跡則是 “怎么從這里走到那里”，而擴(kuò)散過(guò)程就像是拼圖的拼接邏輯，把這些零散信息有序組合起來(lái)，2還原出一個(gè)連續(xù)、合理且可預(yù)測(cè)的時(shí)空過(guò)程。

為了支持同時(shí)完成重建、預(yù)測(cè)和規(guī)劃這三類(lèi)不同任務(wù)，AETHER 精心設(shè)計(jì)了一種統(tǒng)一的多任務(wù)框架，實(shí)現(xiàn)在同一個(gè)系統(tǒng)中整合動(dòng)態(tài)重建、視頻預(yù)測(cè)和動(dòng)作規(guī)劃。其中心之處在于，能夠融合圖像、動(dòng)作、深度等多模態(tài)信息，建立一個(gè)跨模態(tài)共享的時(shí)空一致性建?？臻g，實(shí)現(xiàn)不同任務(wù)在同一認(rèn)知基礎(chǔ)上的協(xié)同優(yōu)化。在多個(gè)實(shí)驗(yàn)任務(wù)中，AETHER 在動(dòng)態(tài)場(chǎng)景重建方面已達(dá)到甚至超過(guò)現(xiàn)有 SOTA（state-of-the-art，其先進(jìn)水平）水平。同時(shí)，研究人員發(fā)現(xiàn)在多任務(wù)框架下，各個(gè)任務(wù)之間相互促進(jìn)，尤其在動(dòng)作跟隨的準(zhǔn)確度上面有較大幅度的提升。

AETHER 生成式世界模型的開(kāi)源，為整個(gè)行業(yè)帶來(lái)了諸多利好。它有望為具身智能大模型在數(shù)據(jù)增強(qiáng)、路徑規(guī)劃以及基于模型的強(qiáng)化學(xué)習(xí)等方向研究提供堅(jiān)實(shí)的技術(shù)支撐。眾多開(kāi)發(fā)者和研究人員可以基于此模型，進(jìn)一步探索和創(chuàng)新，加速機(jī)器人智能化的進(jìn)程，推動(dòng)人工智能在更多領(lǐng)域的廣泛應(yīng)用。

隨著 AETHER 模型的開(kāi)源，我們仿佛站在了一個(gè)新的科技十字路口，前方是充滿無(wú)限可能的智能未來(lái)。它將如何重塑各個(gè)行業(yè)的格局？又會(huì)給我們的日常生活帶來(lái)哪些意想不到的改變？讓我們拭目以待，共同見(jiàn)證科技的無(wú)窮魅力和力量。