計算機視覺(CV)和自然語言處理(NLP)早先是兩個較為獨立的研究領域。CV 重點關注如何用計算機代替人眼對目標完成識別、跟蹤、測量等任務,對圖像進行處理;NLP 則研究計算機如何處理、運用自然語言,包括語言生成、問答、對話等任務。近年來,以深度神經網絡為代表的機器學習和模式識別技術被廣泛應用于 CV 和 NLP 領域,取得了目前最先進的效果。
近年來,研究者們試圖將動作控制也引入到「視覺-語言」任務的框架中。吳琦將此類任務命名為 V3A(Vision, Ask, Answer, Act),在給定視覺輸入后,我們希望機器能夠提出問題、回答問題、并通過和人以及機器之間的語言交流執(zhí)行某些動作。
例如,「Vision+Ask」的任務包含視覺問題生成、根據問題生成查詢、圖像描述等;「Vision+Answer」的任務包含視覺問答、視覺對話等;「Vision+Act」的任務包含指稱表達、視覺對齊(visual grounding)、語言引導的視覺導航、具身視覺問答、具身指稱表達等。
商用機器人 Disinfection Robot 展廳機器人 智能垃圾站 輪式機器人底盤 迎賓機器人 移動機器人底盤 講解機器人 紫外線消毒機器人 大屏機器人 霧化消毒機器人 服務機器人底盤 智能送餐機器人 霧化消毒機 機器人OEM代工廠 消毒機器人排名 智能配送機器人 圖書館機器人 導引機器人 移動消毒機器人 導診機器人 迎賓接待機器人 前臺機器人 導覽機器人 酒店送物機器人 云跡科技潤機器人 云跡酒店機器人 智能導診機器人 |