11月2日，2023年第二屆中國機器人云棲峰會在浙江杭州的云棲小鎮(zhèn)成功召開，本次峰會以“大模型，賦能機器人非凡智力”為主題，邀請到以德國國家工程院院士張建偉、加拿大工程院院士張丹為首的一眾嘉賓，以“5場專業(yè)演講+1場圓桌對話”的形式，邀請現(xiàn)場、線上觀眾，共同暢談機器人的未來。期間，之江實驗室智能機器人研究中心副主任宋偉教授，以“大模型時代服務機器人的自主決策”為題發(fā)表演講。

未來生活中大多的任務或將由機器人完成

宋偉教授認為，隨著技術的進步和發(fā)展，機器人的應用已經(jīng)逐漸從工業(yè)領域擴展至建筑、醫(yī)療、娛樂、服務等各個領域。當前，除了工業(yè)機器人之外，清潔機器人、配送機器人、炒菜機器人、送餐機器人等各式各樣的服務機器人開始步入人們的視野。在技術的發(fā)展和助推下，未來我們生活中大多的任務可能都會由機器人去完成、去解決，類似于人形機器人的服務機器人或許將在生活中隨處可見。但就現(xiàn)階段來看，讓服務機器人真正深度融入到我們的生活中，仍然存在眾多挑戰(zhàn)。其中，實現(xiàn)自主決策與作業(yè)是決定服務機器人能否深度融入人類生活的關鍵，而這涉及非結構化環(huán)境下自主作業(yè)和人機交互意圖理解等兩大難題。

以指揮服務機器人下樓買咖啡為例，服務機器人接收到這一命令后，首先需得對周圍環(huán)境進行認知判斷，然后導航行走至門口，完成開門動作，對出門后的環(huán)境進行判斷、決策，確定目標地點、行走路線、行走方式等，到達目標地點后，機器人或許還需與人/機器進行交互，然后利用末端執(zhí)行器拿取咖啡。服務機器人在執(zhí)行此任務時，不僅需靈活應對可能會隨時變化的環(huán)境，同時也需得兼?zhèn)溟_門、交互、拿取等執(zhí)行多類型任務的能力。目前服務機器人在執(zhí)行場景任務時面臨任務類型多、執(zhí)行序列長、操作難度高等挑戰(zhàn)。

傳統(tǒng)人機交互包括圖形界面、手勢等多種方式，但主要都是基于預設編程，在機器人的實際應用過程中，指令的下達會受到編程內(nèi)容限制。編程交互不僅程序繁瑣，同時還對用戶具有編程技能與經(jīng)驗要求，要真正掌握需花費較多時間與精力。服務機器人在執(zhí)行此任務時，不僅需靈活應對可能會隨時變化的環(huán)境，同時也需得兼?zhèn)溟_門、交互、拿取等執(zhí)行多類型任務的能力。目前服務機器人在執(zhí)行場景任務時面臨任務類型多、執(zhí)行序列長、操作難度高等挑戰(zhàn)。

人形機器人是大語言模型的最佳具身形態(tài)

宋偉教授表示，大語言模型將成為服務機器人在非結構化環(huán)境中自主決策與作業(yè)的底座技術，我們要積極擁抱大語言模型，探索其應用邊界。但在大語言模型與機器人的結合應用方面，僅僅依靠大語言模型“能說會道”并不足以支撐起機器人在物理世界的自主決策與作業(yè)，仍需要結合機器人自身的多模感知和作業(yè)能力。機器人的有限端部資源，以及實時性、魯棒性、準確性與數(shù)據(jù)隱私等要求，需要開發(fā)能夠部署在邊－端的中小模型。大語言模型是當前通用人工智能技術發(fā)展的一項重要成果，而人形機器人普遍被認為是通用作業(yè)機器人的形態(tài)，也是是大語言模型的最佳具身形態(tài)，兩者的結合可以形成像人一樣與環(huán)境交互的、具有身體體驗的智能體。

一方面，人形機器人成為智能的具身實體，它與環(huán)境的交互將為大語言模型源源不斷地提供多模態(tài)的感知信息，從而促進大模型的進化；另一方面，大語言模型為人形機器人提供認知、學習的能力，使其更好地適應復雜未知的環(huán)境，并促進機器人本體的進化。從某種程度而言，我們?nèi)祟惥涂梢钥醋魇侵悄芘c本體協(xié)同進化的結果。這種結合形成的具身智能人形機器人打破了虛擬世界與物理世界之間的邊界，將促進通用人工智能技術與通用作業(yè)機器人技術的協(xié)同進化，從而促進家庭服務機器人關鍵技術的攻關與應用。