智能制造網(wǎng)APP
智能制造網(wǎng)手機(jī)站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號(hào)
智能控制
機(jī)器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
品牌
其他品牌
據(jù)清華大學(xué)深圳國際研究生院消息報(bào)道，清華大學(xué)丁文伯副教授的智能感知與機(jī)器人(Smart Sensing and Robotics, SSR)課題組與合作者提出了一個(gè)基于視觸融合的透明物體抓取框架，該框架模仿了人在低可見度情況下抓取物體的動(dòng)作，并利用視觸融合來實(shí)現(xiàn)透明物體的檢測(cè)和抓取。
透明物體在生活中十分常見，但需要使用機(jī)器人來識(shí)別并操作它卻非常困難，如何解決復(fù)雜場(chǎng)景下的透明物體抓取問題已經(jīng)成為了機(jī)器人領(lǐng)域公認(rèn)的非常重要且具有挑戰(zhàn)的課題。
透明物體存在較少的紋理信息，所產(chǎn)生的紋理大都是由于光線折射、反射造成的，這就給透明物體的檢測(cè)帶來了很大的困難。其次透明物體表面光滑，即使抓取位置存在較小偏差，也可能導(dǎo)致抓取任務(wù)的失敗。
丁文伯副教授的課題組針對(duì)該問題設(shè)計(jì)了具有針對(duì)性的解決辦法，該方法不僅具有極高的抓取成功率，還可以實(shí)現(xiàn)玻璃碎片、堆積、重疊、起伏、沙子和水下場(chǎng)景下的物體抓取。首先，團(tuán)隊(duì)提出了一個(gè)名為SimTrans12 K的多場(chǎng)景合成抓取數(shù)據(jù)集以及高斯掩模注釋方法，基于TaTa抓手，團(tuán)隊(duì)提出了一種名為透明物體抓取卷積神經(jīng)網(wǎng)絡(luò)的抓取網(wǎng)絡(luò)，用于抓取位置檢測(cè)，該網(wǎng)絡(luò)在合成和真實(shí)場(chǎng)景中都表現(xiàn)出良好的性能。
受人類抓握的啟發(fā)，團(tuán)隊(duì)設(shè)計(jì)了一種觸覺校準(zhǔn)方法和一種視覺與觸覺融合分類方法，和直接抓取相比，抓握成功率提高了36.7%，分類準(zhǔn)確率提高了39.1%。此外，該系統(tǒng)還增加了觸覺高度傳感模塊和觸覺位置探索模塊，解決了在不規(guī)則和視覺上無法檢測(cè)到的場(chǎng)景中抓取透明物體的問題，實(shí)驗(yàn)結(jié)果驗(yàn)證了該框架的有效性。
目前，該成果以“利用視觸融合解決復(fù)雜背景下的透明物體抓取問題”(Visual-Tactile Fusion for Transparent Object Grasping in Complex Backgrounds)為題，在《IEEE機(jī)器人匯刊》(IEEE Transactions on Robotics，TRO)上發(fā)表。 清華大學(xué)深圳國際研究生院數(shù)據(jù)與信息研究院丁文伯副教授為論文的通訊作者，劉厚德研究員為共同通訊作者，清華大學(xué)深圳國際研究生院2023級(jí)博士研究生李壽杰、2021級(jí)碩士研究生于海鑫為論文的共同第一作者。論文作者還包括上海大學(xué)人工智能研究院副研究員葉林奇，清華大學(xué)博士后夏崇坤，清華大學(xué)深圳國際研究生院王學(xué)謙教授、張曉平教授。
同時(shí)，該項(xiàng)目得到了國家自然科學(xué)基金、清華大學(xué)深圳國際研究生院鵬瑞青年教師啟航計(jì)劃、清華大學(xué)深圳國際研究生院交叉科研創(chuàng)新基金、廣東省基礎(chǔ)與應(yīng)用基礎(chǔ)研究基金、清華大學(xué)國強(qiáng)研究院等項(xiàng)目的資助。
浙公網(wǎng)安備 33010602000006號(hào)
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號(hào)
