【中國(guó)智能制造網(wǎng) 名家論壇】過去的工業(yè)機(jī)器人，在我們眼中一直是一些冷冰冰的自動(dòng)化設(shè)備，但隨著計(jì)算機(jī)視覺的應(yīng)用，它慢慢變成了一個(gè)有感官，有思維，有情感的新一代工業(yè)機(jī)器人，并推動(dòng)著現(xiàn)在珠三角、長(zhǎng)三角、東北三省那邊轟轟烈烈的機(jī)器換人運(yùn)動(dòng)。但是工業(yè)機(jī)器人中的計(jì)算機(jī)視覺和我們常見的計(jì)算機(jī)視覺應(yīng)用有啥不一樣呢？　　為此，我們請(qǐng)來了李群自動(dòng)化創(chuàng)始人&CEO石金博，以他們創(chuàng)新工業(yè)機(jī)器人兩年多的體驗(yàn)，為我們闡述工業(yè)機(jī)器人的計(jì)算機(jī)視覺是怎樣的，它對(duì)于幫助現(xiàn)在提倡的柔性自動(dòng)化有何意義，以及現(xiàn)在在應(yīng)用中遇到的問題。
　　
　　CV在工業(yè)機(jī)器人上和服務(wù)機(jī)器人上的區(qū)別
　　
　　CV在工業(yè)機(jī)器人上的應(yīng)用和服務(wù)機(jī)器人上的應(yīng)用的主要區(qū)別是什么？
　　
　　其實(shí)CV在機(jī)器人的應(yīng)用是從2011年開始，大家逐步在一些電子產(chǎn)品的裝配上會(huì)用到機(jī)器視覺。像我所知的海康，原來這些公司用的主要的是視頻采集，并沒有加入視覺的算法。
　　
　　如果說差別，應(yīng)該從下面幾個(gè)方面來說。
　　
　　個(gè)是應(yīng)用場(chǎng)景。在工業(yè)機(jī)器人的環(huán)境里，計(jì)算機(jī)視覺看到的場(chǎng)景是相對(duì)單一，比如工業(yè)元器件或者材料，或者監(jiān)控一些操作過程。服務(wù)機(jī)器人應(yīng)用場(chǎng)景就要變化很多，比如生活中的場(chǎng)景，比如辨識(shí)人的首飾，表情啊。
　　
　　在服務(wù)機(jī)器人里面，比如家用機(jī)器人，無人機(jī)，視覺其實(shí)是一個(gè)非常重要的導(dǎo)航的工具，利用CV完成對(duì)周邊環(huán)境的測(cè)算和空間建模，還有一個(gè)領(lǐng)域是比較典型的，就是監(jiān)控領(lǐng)域。
　　
　　第二個(gè)是它所起的作用。計(jì)算機(jī)視覺對(duì)機(jī)器人來講無非是解決幾個(gè)事情，在工業(yè)機(jī)器人里面，可以通過視覺的導(dǎo)引完成軌跡或者定位的作用。
　　
　　第三個(gè)是精度方面。在工業(yè)機(jī)器人里面，計(jì)算機(jī)視覺的辨識(shí)精度一定是在毫米級(jí)以下的，這里面包括一個(gè)靜態(tài)的辨識(shí)精度，一個(gè)動(dòng)態(tài)的辨識(shí)精度，靜態(tài)指的是相機(jī)或者觀測(cè)物品相對(duì)處在一個(gè)靜止的狀態(tài)，它這個(gè)時(shí)候的辨識(shí)精度取決于相機(jī)的分辨率，包括物品的邊緣是否清晰，差異化是否很明確，這個(gè)時(shí)候精度甚至可以達(dá)到微米級(jí)以下，服務(wù)機(jī)器人據(jù)我所知，大部分的精度并不會(huì)很高，可能會(huì)在厘米級(jí)以上。
　　
　　第四個(gè)是在工作空間上的范圍。工業(yè)機(jī)器人的視覺辨識(shí)的空間，一種是把相機(jī)固定，視覺（相機(jī)）的大小是根據(jù)我的安裝空間導(dǎo)致視覺的分辨率有所限制；但服務(wù)機(jī)器人的工作空間，我的理解它的工作空間限于電池能持續(xù)多久。
　　
　　第五個(gè)是安全性。工業(yè)機(jī)器人上的視覺部分是要求不太會(huì)被人所干擾的，盡量避免人和設(shè)備的不必要交互，但在服務(wù)機(jī)器人上，人和設(shè)備的地方非常多，這是視覺是人和服務(wù)機(jī)器人交互的一個(gè)很重要的途徑。另外一個(gè)是生命周期，這里面涉及到我視覺系統(tǒng)里的光源，相機(jī)安裝的可靠性。
　　
　　那總的來講，計(jì)算機(jī)視覺在工業(yè)機(jī)器人和服務(wù)機(jī)器人重要的差異，我覺得主要是在精度和可靠性方面。然后剩下的就是應(yīng)用場(chǎng)景的專門的功能需求。
　　
　　工業(yè)機(jī)器人機(jī)器視覺傳感器近有什么新進(jìn)展？
　　
　　先簡(jiǎn)單地列舉一些視覺在工業(yè)機(jī)器人里的應(yīng)用：用的多的是辨識(shí)物體的位置，方向，然后配合機(jī)器人進(jìn)行抓取，一般精度要到0.01毫米左右。
　　
　　我認(rèn)為工業(yè)機(jī)器人的視覺傳感器就是工業(yè)機(jī)器人的整個(gè)視覺傳感系統(tǒng)，這里面考慮的大部分都是可靠性和維護(hù)性，在真正的使用中，新的硬件方案或者新的產(chǎn)品并不是很快就會(huì)進(jìn)行導(dǎo)入的，它都會(huì)需要一個(gè)長(zhǎng)期的檢測(cè)過程，我們說的視覺系統(tǒng)一般包含相機(jī)，鏡頭，光源還有一些視覺的處理器，近幾年smartcamera這種傳感器算是用的比較多的。
　　
　　smartcamera大部分的用法都會(huì)選用一些PCbase的用法，典型的是基恩士，康耐視或者歐姆龍，他們的視覺開始都是在PC上，利用對(duì)數(shù)字相機(jī)圖像的采集處理，然后利用一些視覺算法輸出數(shù)據(jù)，近幾年，基恩士首先把它的smartcamera把它大量應(yīng)用在蘋果公司相關(guān)的一些檢測(cè)設(shè)備中。
　　
　　這種smartcamera比較好的地方是：它的封裝會(huì)會(huì)非常緊湊，整個(gè)鏡頭非常便于安裝，然后是在算法上進(jìn)行了大量的簡(jiǎn)化，和設(shè)備相連的時(shí)候，整個(gè)設(shè)備的安裝和相連非常的便捷。
　　
　　現(xiàn)在多的是基于2D的工業(yè)相機(jī)，但3D的導(dǎo)入會(huì)是一個(gè)非常明顯的趨勢(shì)，3D視覺技術(shù)現(xiàn)在達(dá)到的精度以及對(duì)于機(jī)器人配合的這種要求，目前來說還沒到一個(gè)相對(duì)成熟的階段，可能還需要一定的時(shí)間進(jìn)行導(dǎo)入。
　　
　　針對(duì)2D的相機(jī)，我們?cè)谶x取的時(shí)候主要會(huì)考慮基于怎樣的應(yīng)用場(chǎng)景，比如被測(cè)物體的大小，需要達(dá)到的辨識(shí)精度，這個(gè)部分主要是一些規(guī)格上的選取。如果說誰家的相機(jī)會(huì)更好，我們現(xiàn)在主要是選擇德國(guó)和日本的一些相機(jī)，比如說德國(guó)的IDS，日本的歐姆龍；鏡頭的話主要選擇computar的鏡頭，在這種品質(zhì)保證的情況下，其實(shí)產(chǎn)品大同小異，不會(huì)差別太多，可能無非就是在使用和安裝習(xí)慣上的差異，以及價(jià)格包括貨期都是很重要的衡量標(biāo)準(zhǔn)。
　　
　　工業(yè)機(jī)器人與自己，與人，與環(huán)境的交互
　　
　　工業(yè)機(jī)器人講究機(jī)器和機(jī)器的交互，機(jī)器和人的交互以及機(jī)器和環(huán)境的交互，您能舉個(gè)例子為我們講講他們是怎樣實(shí)現(xiàn)的？
　　
　　這個(gè)其實(shí)是我們比較擅長(zhǎng)的部分。因?yàn)槲覀兝钊鹤詣?dòng)化從2013年開始正式做機(jī)器人，到現(xiàn)在我們做的多的事就是考慮機(jī)器人和設(shè)備、機(jī)器人和視覺或者和人如何交互?；卮疬@個(gè)問題之前，我們需要有一個(gè)前提：解決交互問題前應(yīng)該是交互雙方有個(gè)協(xié)議，即交互雙方都可以懂的語(yǔ)言。
　　
　　這種語(yǔ)言可以簡(jiǎn)單可以復(fù)雜，可以是一種或幾種，就像即使是兩個(gè)語(yǔ)言不通、文化背景不同的人還是可以通過眼神或者肢體語(yǔ)言去交流。
　　
　　如果按照機(jī)器、人、和環(huán)境，我們分析一下他們所能發(fā)出的信息的形式和接收的信息的形式，以這樣的思路來進(jìn)行。我們以機(jī)器人為例，機(jī)器可以以什么樣的形式來表達(dá)出他想要表達(dá)的信息呢？
　　
　　我們一般可以分兩種。
　　
　　一種是機(jī)器主動(dòng)想表達(dá)的信息，這時(shí)候可能是機(jī)器的一個(gè)狀態(tài)，機(jī)器需要告訴別人的一些信息，我們認(rèn)為這是一種可控的信息，一般可以通過網(wǎng)絡(luò)、串口、I/O、或者是它可以操作的一些動(dòng)作來表達(dá)出來。
　　
　　還有一類信息是異常信息，這一類的信息其實(shí)可能不是機(jī)器想要發(fā)出的，而是一種被動(dòng)輸出。什么叫被動(dòng)輸出呢？比如，一個(gè)機(jī)器突然輸出的產(chǎn)品大量產(chǎn)生異常，或者一個(gè)機(jī)器跑跑跑，某一個(gè)環(huán)節(jié)、電機(jī)要運(yùn)動(dòng)，然后發(fā)現(xiàn)怎么都運(yùn)動(dòng)不到。還有一種情況是機(jī)器做了一種行為，這種行為是不可理解的，或者不是預(yù)設(shè)的，那我們都認(rèn)為這確實(shí)是機(jī)器要發(fā)出的信息，但不是機(jī)器主動(dòng)發(fā)出的。
　　
　　從人的角度來說，人是的生物，可以通過工具發(fā)出他想要發(fā)出的信息，比如說他可以通過用戶界面，甚至是一些按鈕的操作，準(zhǔn)確的發(fā)出他的指令，人也可以通過觸碰產(chǎn)生一些信息，比如觸碰一些光柵。在協(xié)作型機(jī)器人里，人和機(jī)器觸碰甚至可能代表人讓機(jī)器人停下來這種指令。
　　
　　環(huán)境的信息其實(shí)是被動(dòng)的，因?yàn)榄h(huán)境是無法主動(dòng)表達(dá)信息的，它可能是通過來料、出料的異常，甚至是溫度、濕度的變化、甚至突然斷電了，大家也不知道發(fā)生了什么。這些信息，你做一個(gè)簡(jiǎn)單的分析，會(huì)發(fā)現(xiàn)在這種交互過程中，異常信息是需要提前做好準(zhǔn)備和響應(yīng)方案的。
　　
　　而且同時(shí)，人和機(jī)器作為兩個(gè)可以主動(dòng)交互的對(duì)象，人比較，可以辨識(shí)、響應(yīng)幾乎一切信息，但是人大的問題在于人會(huì)疲勞，人可能會(huì)有情緒干擾，導(dǎo)致對(duì)信息判斷的及時(shí)性和準(zhǔn)確性進(jìn)行干擾，沒有機(jī)器判斷那么穩(wěn)定。
　　
　　機(jī)器由于不夠聰明，一定沒有人聰明，這時(shí)就會(huì)變成機(jī)器能把信息表達(dá)得多準(zhǔn)確多全面，其實(shí)取決于設(shè)計(jì)機(jī)器的人希望機(jī)械可以做到什么樣。
　　
　　回到現(xiàn)在這個(gè)問題來說，我想重要的就是異常的信息，我認(rèn)為在自動(dòng)化環(huán)節(jié)，三方的交互中，如果一切都是沒有意外的，大家都按照預(yù)定的節(jié)奏和行為來進(jìn)行操作，那么交互大可不必，每個(gè)人都按照既定要求來做，這其實(shí)是和諧的，實(shí)際上意外一定會(huì)產(chǎn)生，交互的意義就在于如何處理意外。
　　
　　這時(shí)候就變成了，我們?nèi)绾胃兄惓?，同時(shí)協(xié)商出來面對(duì)異常的機(jī)制，大家交互的協(xié)商，后達(dá)到異常的處理，回到原始的軌道。
　　
　　這里給大家舉個(gè)例子，這里給家看個(gè)我們做的方案：
　　
　　這是一個(gè)非常簡(jiǎn)單的生產(chǎn)線上下料工藝的需求，大家可以看到，在圖片左手邊模擬的是一個(gè)隧道爐，這實(shí)際上是一個(gè)手機(jī)蓋板非常典型的加工工藝，玻璃在進(jìn)行前端絲印之后，它需要經(jīng)過隧道爐完成印刷油墨的工藝要求，達(dá)到油墨的固定。
　　
　　前端，是人把絲印好的玻璃放在傳送帶上，上料的速度我們得到的信息一般是在1300片/h，有個(gè)重要的工藝要求，由于隧道爐中有烘烤的工藝，所以傳送帶是一定不可以停的。
　　
　　那么我們現(xiàn)在做的自動(dòng)化是要干嘛呢，是要把從隧道爐里出來得剛剛烘烤過的玻璃安全的下到料盤里面。
　　
　　由于當(dāng)時(shí)當(dāng)時(shí)給我們的空間限制，隧道爐末端的空間非常有限，就是圖中兩個(gè)人所在的位置，那么自動(dòng)化設(shè)備要快速的把每小時(shí)一千三百片的來料下到料盤里，這就是自動(dòng)化的工藝要求，大家可以想想，對(duì)于機(jī)器人來說，在這樣的工作空間里每小時(shí)可以做兩千次，那以這樣的速度，這個(gè)自動(dòng)化方案的難點(diǎn)和異常點(diǎn)在哪里？
　　
　　我們做了一個(gè)工作站，這里包含了綠色的傳送帶，用來承接前端烘干機(jī)的傳送帶。在前端有一個(gè)視覺框架來動(dòng)態(tài)識(shí)別玻璃的位置和轉(zhuǎn)向，末端有一些機(jī)構(gòu)來保證下料料盤如何周轉(zhuǎn)?，F(xiàn)在我列舉幾個(gè)實(shí)際操作中我們需要思考、處理的部分：
　　
　　1.瞬時(shí)uph。剛才提到烘干機(jī)前端是人工上料。人工上料有什么問題呢？比如，這個(gè)人的早中晚生產(chǎn)狀態(tài)不同，在精神狀態(tài)好的時(shí)候，可能連續(xù)的一段時(shí)間內(nèi)生產(chǎn)效率非常高?？赡茉诤芾鄣臅r(shí)候生產(chǎn)效率就會(huì)很低，那么按照客戶給的數(shù)據(jù)1300uph。這時(shí)就遇到了一個(gè)問題，假設(shè)五分鐘之內(nèi)，工人的狀態(tài)很好，他的瞬時(shí)效率高于2000時(shí)，機(jī)器人怎么辦？按照設(shè)定條件，機(jī)器人是來不及抓的。
　　
　　2.由于我們的視覺是用來判斷傳送帶上的玻璃，我在辨識(shí)的時(shí)候，有些在上料的時(shí)候，混了一些一些料或者其他什么誤差，導(dǎo)致玻璃沒有辨識(shí)出來。或者說兩個(gè)玻璃挨在一起了，視覺無法辨識(shí)兩個(gè)玻璃的相對(duì)位置。這時(shí)候，這兩片玻璃是抓不起來的。
　　
　　3.我在下料的時(shí)候，當(dāng)我要把玻璃放在料盤里，恰巧料盤滿料，下一個(gè)料盤還沒過來。這時(shí)傳送線上的玻璃如何處理？
　　
　　4.料盤和玻璃也有放置精度的問題，如果說傳送帶像我們現(xiàn)在看到的部分，寬度是一米二，如果我們用一個(gè)視覺相機(jī)來說，在一米二寬的視場(chǎng)范圍內(nèi)，在視場(chǎng)邊緣會(huì)產(chǎn)生嚴(yán)重畸變，這時(shí)我在吸取玻璃時(shí)，比如吸取5.7寸的玻璃它在邊緣的偏差可能就要大于兩毫米。這時(shí)吸取的玻璃可能放不進(jìn)料盤。
　　
　　5.假設(shè)吸盤變形，機(jī)器人看得很準(zhǔn)，機(jī)器人到位也很準(zhǔn)，但是吸盤壞了，吸起后玻璃偏了，還是放不進(jìn)料盤。