今日，有新聞報(bào)道稱：加州大學(xué)伯克利分校的研究團(tuán)隊(duì)打造了一個(gè)兩條腿的機(jī)器人Cassie，通過AI的催動(dòng)強(qiáng)化學(xué)習(xí)后它自己竟然學(xué)會(huì)了走路，并不是通過直接編程和模仿來學(xué)習(xí)的，它是通過AI學(xué)習(xí)框架讓機(jī)器人Cassie以試錯(cuò)的方式進(jìn)行自主學(xué)習(xí)走路。這種試錯(cuò)的訓(xùn)練方式如同嬰兒學(xué)走路一般，主動(dòng)的適應(yīng)環(huán)境，逐漸執(zhí)行穩(wěn)定，敏捷以及多樣化的走路動(dòng)作。除此之外，機(jī)器人還會(huì)不斷學(xué)習(xí)跑步，跳躍等動(dòng)作，敏捷度也會(huì)通過自動(dòng)調(diào)速功能逐漸實(shí)現(xiàn)。

未來，基于AI強(qiáng)化學(xué)習(xí)這一技術(shù)，運(yùn)動(dòng)機(jī)器人也將更為敏捷。

一、AI模擬訓(xùn)練學(xué)走路，無(wú)需嬰兒般跌倒重來

雙足機(jī)器人Cassie類似我們的腿部外形，因此相比其他形狀的機(jī)器人更容易進(jìn)入為人類設(shè)計(jì)的城市環(huán)境之中。

為幫助Cassie像人類一樣學(xué)會(huì)自主行走，研究團(tuán)隊(duì)將這個(gè)過程想象為如嬰兒學(xué)走路一般。嬰兒雖然不會(huì)直接學(xué)會(huì)站立行走，但他們能通過一次次的站立、跌倒、邁步中記住步行的步驟，最終學(xué)會(huì)直立行走。

Cassie學(xué)走路也是如此。但為防止機(jī)器人在學(xué)習(xí)過程中跌倒損壞實(shí)際硬件，研究團(tuán)隊(duì)利用模擬到真實(shí)的傳輸技術(shù)，在模擬環(huán)境中訓(xùn)練，在高保真度的模擬器中進(jìn)行評(píng)估，最終部署到Cassie機(jī)器人上。

在模擬中，機(jī)器人接受了描述直立行走等目標(biāo)的信息后，AI引擎可以幫助其記住步行步驟，以此為基礎(chǔ)添加更多信息，最終學(xué)會(huì)直立行走。此外，它還可以學(xué)會(huì)如何在輕微滑倒時(shí)防止摔倒，或從側(cè)面被推倒時(shí)如何恢復(fù)。

一旦機(jī)器人在模擬中學(xué)會(huì)走路，研究人員便將此知識(shí)移植給Cassie，進(jìn)行實(shí)際操作。后續(xù)實(shí)踐中，研究人員計(jì)劃繼續(xù)在機(jī)器人中進(jìn)行強(qiáng)化學(xué)習(xí)，看看它能走多遠(yuǎn)。

二、步態(tài)庫(kù)中強(qiáng)化學(xué)習(xí)，讓步伐更靈活穩(wěn)健

研究團(tuán)隊(duì)基于強(qiáng)化學(xué)習(xí)( Reinforcement Learning;RL)方法，希望讓Cassie通過系統(tǒng)學(xué)習(xí)法學(xué)會(huì)更敏捷的行走。強(qiáng)化學(xué)習(xí)又稱增強(qiáng)學(xué)習(xí)、評(píng)價(jià)學(xué)習(xí)，是智能體以“試錯(cuò)”的方式進(jìn)行學(xué)習(xí)，在環(huán)境交互中達(dá)成特定目的。

在此之前，研究者往往通過機(jī)械建模控制雙足機(jī)器人行走，然而這種方式難以對(duì)復(fù)雜地面進(jìn)行建模，機(jī)器人缺乏適應(yīng)環(huán)境變化的能力和運(yùn)動(dòng)穩(wěn)定性。基于強(qiáng)化學(xué)習(xí)的步行控制器，RL方法訓(xùn)練策略可以讓機(jī)器人模擬步態(tài)庫(kù)中的步態(tài)，通過隨機(jī)訓(xùn)練增加其行為的多樣性。這種多樣性的增加，能夠讓Cassie應(yīng)對(duì)以往無(wú)法建模的地面摩擦變化等環(huán)境因素，在隨機(jī)環(huán)境下保持靈活穩(wěn)健性。

三、AI追蹤行走環(huán)境，步行速度、高度自動(dòng)調(diào)

基于RL方法，研究人員建立了一種自適應(yīng)調(diào)速步行控制器。這種控制器能夠通過AI追蹤C(jī)assie的步行環(huán)境，并給其適當(dāng)?shù)男凶卟呗浴assie在不同場(chǎng)景下的行走策略，在實(shí)驗(yàn)中，Cassie能夠執(zhí)行各種敏捷行為，如快進(jìn)和后退行走、側(cè)身行走、改變行走高度，還能夠在偏航時(shí)進(jìn)行轉(zhuǎn)身操作。

此外，Cassie還能夠從路障等外界隨機(jī)擾動(dòng)中恢復(fù)。AI強(qiáng)化學(xué)習(xí)助機(jī)器人運(yùn)動(dòng)更敏捷，基于步態(tài)庫(kù)的參考運(yùn)動(dòng)，AI強(qiáng)化學(xué)習(xí)可以幫助兩足機(jī)器人學(xué)習(xí)步行、轉(zhuǎn)彎、下蹲等運(yùn)動(dòng)狀態(tài)，跟蹤其行走環(huán)境以達(dá)到自動(dòng)調(diào)速、轉(zhuǎn)彎等功能，讓機(jī)器人在運(yùn)動(dòng)中更好的達(dá)到靈活性和穩(wěn)健性。

以上我們分享了AI機(jī)器人自己學(xué)習(xí)走路的全過程，未來AI強(qiáng)化學(xué)習(xí)還將在此基礎(chǔ)上，助力兩足機(jī)器人及其他機(jī)器人學(xué)習(xí)更多動(dòng)態(tài)，敏捷的行為，如果您想了解更多相關(guān)信息，請(qǐng)您繼續(xù)關(guān)注中培偉業(yè)。