摘要：近年來(lai)，機器人自(zi)動化(hua)領域越來(lai)越多(duo)地應用3D視(shi)覺(jue)技(ji)術對目(mu)標物體(ti)進行定位。本文主要研究3D視(shi)覺(jue)技(ji)術在機器人抓(zhua)取(qu)(qu)作業中的(de)(de)應用，總結了3D視(shi)覺(jue)技(ji)術在識別、定位物體(ti)時面臨的(de)(de)挑戰，給出(chu)了抓(zhua)取(qu)(qu)作業機器人3D視(shi)覺(jue)系統的(de)(de)設(she)計(ji)方法(fa)(fa)，歸納了現有(you)的(de)(de)3D表面成像方法(fa)(fa)和視(shi)覺(jue)處理算法(fa)(fa)，后給出(chu)一個結合(he)3D視(shi)覺(jue)技(ji)術對白色(se)抽(chou)屜紙盒(he)進行抓(zhua)取(qu)(qu)分揀的(de)(de)實際應用案例(li)。

關(guan)鍵(jian)詞：3D視(shi)覺；工業(ye)機器人；抓取

1 引言(yan)

隨(sui)著經濟的發展與(yu)科(ke)技的進步，人(ren)(ren)們越來越多地將自動化技術(shu)應(ying)用(yong)到(dao)生產與(yu)生活中(zhong)，與(yu)此同(tong)時，也(ye)對自動化技術(shu)提出(chu)了(le)(le)更高的要求(qiu)。近(jin)十年來，工(gong)業機(ji)器(qi)(qi)人(ren)(ren)的普及使(shi)得機(ji)器(qi)(qi)人(ren)(ren)自動化得到(dao)了(le)(le)更廣(guang)泛(fan)的應(ying)用(yong)和關(guan)注(zhu)。很多機(ji)器(qi)(qi)人(ren)(ren)系統已經集成了(le)(le)視覺系統，利用(yong)機(ji)器(qi)(qi)視覺技術(shu)實現檢(jian)測、識(shi)別、定位等功能(neng)，為后(hou)續的機(ji)器(qi)(qi)人(ren)(ren)運動提供必要的信息。

在許多自動(dong)化(hua)應(ying)用場合中(zhong)，如自動(dong)化(hua)分揀、裝配、拆(chai)垛(duo)、碼(ma)垛(duo)、上料等(deng)過程中(zhong)，工業機器(qi)人(ren)經常被用來進(jin)行抓(zhua)(zhua)取作業。要完成(cheng)抓(zhua)(zhua)取操作，機器(qi)人(ren)系(xi)統可能(neng)需要完成(cheng)目標感知(zhi)、運(yun)動(dong)規劃(hua)、抓(zhua)(zhua)取規劃(hua)等(deng)一系(xi)列任(ren)務。視覺系(xi)統在機器(qi)人(ren)抓(zhua)(zhua)取作業中(zhong)的(de)作用就是識(shi)別(bie)、定位(wei)目標物體(ti)，為機器(qi)人(ren)提(ti)供目標物體(ti)的(de)類(lei)型與位(wei)姿信息。其中(zhong)，位(wei)姿估計的(de)精度(du)關系(xi)到抓(zhua)(zhua)取的(de)成(cheng)功(gong)率與精度(du)，是非常重(zhong)要的(de)技術參數。

3D視覺技(ji)術作為新興的(de)技(ji)術領域(yu)還存在很多亟(ji)待(dai)解決的(de)問(wen)題(ti)，但2D視覺已不能滿(man)足空間抓(zhua)取的(de)應(ying)用(yong)要求。與2D視覺相比，3D視覺技(ji)術的(de)優點有：

（1）3D視覺可以提供目標物體6DOF的位姿數據，而2D視覺僅能提供平面內3DOF的位姿數據；

（2）3D視覺能給出目標物體的深度信息或物體表面的點云信息。

但與此同時，3D視覺技術在機器人抓取應用中仍然面臨許多挑戰：

（1）點云空洞：用3D相機捕捉反光、透明、網狀物體表面的點云信息，經常會出現數據的丟失，丟失的點云數據形成了點云空洞；

（2）點云粘連：多個物體雜亂堆放或者兩個物體表面靠近擺放時，不同物體表面的點云會粘連在一起，這就涉及到如何穩定、準確地進行點云分割；

（3）點云密度不一致：物體表面與3D相機之間的相對位姿、物體表面的顏色均會影響點云的密度，使得目標場景的點云密度不一致，這在一定程度上給點云處理算法帶來了困難；

（4）視野局限：有限的相機視角、遮擋和陰影效果，都會阻礙3D相機獲得抓取目標的表面全貌，進而阻礙對抓取目標的識別；

（5）速度：3D視覺的原理要求其處理的數據量較大。3D相機的分辨率越高，所采集的點云質量越好，越能表征物體表面更細微的幾何特征，但相應地帶來的數據量就越大。為了適應實際應用需要，如何提高3D相機獲取目標場景點云的速度、點云處理算法的速度仍是需要研究的課題。

此外，相機傳感器的噪聲，點云分割噪聲，光照條件的變化，物體的顏色等諸多因素都是3D視覺技術所面臨的問題。

本文主(zhu)要研究3D視(shi)覺技(ji)術在機器(qi)人(ren)(ren)抓取作業(ye)(ye)中的(de)(de)應用(yong)。文章(zhang)第二部分(fen)介(jie)紹抓取作業(ye)(ye)機器(qi)人(ren)(ren)3D視(shi)覺系統的(de)(de)設計，包(bao)括視(shi)覺設備的(de)(de)選擇、與機械(xie)設計的(de)(de)關(guan)系；第三(san)部分(fen)介(jie)紹幾種3D表面成像技(ji)術；第四部分(fen)介(jie)紹3D視(shi)覺處理算法，包(bao)括點云分(fen)割、3D匹配等；第五部分(fen)給出一個(ge)實際應用(yong)案例：工業(ye)(ye)機器(qi)人(ren)(ren)結合3D視(shi)覺分(fen)揀白色(se)抽屜紙盒；第六部分(fen)為(wei)總(zong)結。

2 抓取(qu)作(zuo)業機器(qi)人3D視覺系統的設(she)計

2.1 3D相機的選擇

圖(tu)1 3D相機的(de)選擇

選擇3D相機時需要考慮相機與目標場景之間的距離以及目標場景的尺寸。目標場景合適位于相機的中間視場附近，不超出近視場和遠視場的邊界，即目標場景的高度不超出測量范圍。

3D相機的成像精度需要滿足應用場景的抓取精度要求。通常，工作距離越大，3D相機的視場越大，但成像的精度越低。此外，相機的分辨率、點云的獲取速度也是評價3D成像系統的重要指標。其中，相機的分辨率決定了點云數據量的大小及其對物體細節的表征程度，關系到點云處理算法的設計。點云的獲取時間加上點云處理算法的執行時間必須滿足抓取應用的節拍要求。

此外，相機的性價比、系統的可靠性也是選擇相機時需要考量的因素。

2.2 光源、遮光板的選擇

為了避免外界環境光對視覺系統的影響、保證視覺系統的穩定性，有時需要外加光源和遮光板。外加的光源不能影響3D相機成像。

2.3 視覺系統對機械設計的要求

當相機固定安裝時，機器人需要手持標定板做手眼標定。為了方便進行手眼標定，可設計專門的Tool抓持標定板，留出足夠的空間以保證標定板在手眼標定過程中不會與機器人發生干涉。相機固定安裝的優點是，對Tool位姿進行變更后，無需再做機器人手眼標定。

當機器人手(shou)持相機拍照時，一般要求抓(zhua)取作(zuo)業Tool（夾具、吸盤）不遮擋相機的視野。

3 3D表(biao)面成像技(ji)術

3D表(biao)(biao)(biao)(biao)面成像/重構/測(ce)量技(ji)術(shu)，可用(yong)于測(ce)量物(wu)體(ti)表(biao)(biao)(biao)(biao)面上點(dian)(dian)(dian)(dian)的（x，y，z）坐標，測(ce)量結果(guo)可表(biao)(biao)(biao)(biao)示(shi)為(wei)深度(du)圖。除(chu)了測(ce)量三維坐標，3D表(biao)(biao)(biao)(biao)面成像系統也(ye)可輸出(chu)物(wu)體(ti)表(biao)(biao)(biao)(biao)面空間點(dian)(dian)(dian)(dian)的其他光學(xue)特征(zheng)值(zhi)，如(ru)反(fan)射(she)率、顏色等。這時的點(dian)(dian)(dian)(dian)云(yun)測(ce)量結果(guo)可一(yi)般表(biao)(biao)(biao)(biao)示(shi)為(wei)，其中，fi為(wei)一(yi)向量，代表(biao)(biao)(biao)(biao)第i個點(dian)(dian)(dian)(dian)的光學(xue)特征(zheng)值(zhi)。如(ru)常見(jian)的RGB-D（紅綠(lv)藍-深度(du)）測(ce)量數據(ju)可表(biao)(biao)(biao)(biao)示(shi)為(wei)。

目(mu)(mu)前(qian)，常(chang)見的3D表面成像技術有：雙目(mu)(mu)立(li)體視覺(jue)（binocular stereo vision），多目(mu)(mu)立(li)體視覺(jue)（multi-view stereo vision），線結構光(guang)三角測(ce)量（laser triangulation with sheet of light），編碼結構光(guang)三角測(ce)量（encoded structured light），飛行(xing)時間深度(du)測(ce)量（time of flight），聚焦深度(du)測(ce)量（depthfrom focus），光(guang)度(du)立(li)體視覺(jue)（photometric stereovision）。

3.1 雙目立體(ti)視覺（binocular stereo vision）

使(shi)(shi)用(yong)兩個(ge)相機拍攝同(tong)(tong)一個(ge)目(mu)(mu)標(biao)(biao)場景(jing)，通過匹配(pei)場景(jing)內同(tong)(tong)一物(wu)理目(mu)(mu)標(biao)(biao)點(dian)投影到兩幅圖(tu)像(xiang)中的(de)(de)像(xiang)點(dian)（同(tong)(tong)源(yuan)點(dian)），測量得(de)到該點(dian)的(de)(de)空間三維坐標(biao)(biao)。雙(shuang)目(mu)(mu)立體(ti)視覺(jue)的(de)(de)主要任務是雙(shuang)目(mu)(mu)系統的(de)(de)標(biao)(biao)定和同(tong)(tong)源(yuan)點(dian)的(de)(de)匹配(pei)。其(qi)中，同(tong)(tong)源(yuan)點(dian)的(de)(de)匹配(pei)（立體(ti)匹配(pei)，stereo matching）方(fang)法(fa)有(you)相關(guan)法(fa)、多重(zhong)網格法(fa)和多掃(sao)描線法(fa)。這些方(fang)法(fa)都依賴于目(mu)(mu)標(biao)(biao)場景(jing)的(de)(de)紋理、結構(gou)等(deng)特征(zheng)，因此若能主動制(zhi)造特征(zheng)，如投射隨機分布的(de)(de)散斑圖(tu)案、編碼結構(gou)光等(deng)圖(tu)案，則能變被動為(wei)主動，通過增強匹配(pei)的(de)(de)魯棒性(xing)(xing)，使(shi)(shi)方(fang)法(fa)具有(you)普適性(xing)(xing)。

圖2 雙目立體視覺原理示(shi)意圖

3.2 線結構光三角測量（laser triangulation with sheet of light）

線激光器投射出的光平面照射到物體表面上會形成表征其輪廓的亮線，這些窄亮的細線通常被稱為光條。線結構光三角測量的基本思想是：通過相機拍攝線結構光發射器所照射的目標物體，得到物體表面上光條中心位置的一系列3D坐標。因此，目標物體與線結構光成像系統之間做相對運動并在多個不同位置進行拍照測量，才能獲得目標物體完整的3D表面輪廓。

線結構光(guang)三角測量的(de)主要任(ren)務是：標定(ding)相機及其與光(guang)平面之間(jian)的(de)相對位姿，標定(ding)目標物體與成像系(xi)統(tong)之間(jian)的(de)相對運(yun)動，提(ti)取光(guang)條的(de)中心點(dian)。

圖3 線結(jie)構光三角測量原理示意圖

3.3 編碼結構光三角測量（encoded structured light）

編碼結(jie)構光(guang)(guang)(guang)(guang)(guang)激光(guang)(guang)(guang)(guang)(guang)器向(xiang)目標(biao)(biao)物(wu)體(ti)(ti)投射經(jing)過特殊設計(ji)的(de)編碼圖(tu)案(an)，基于不同的(de)圖(tu)案(an)編碼方法，相機可(ke)能需要(yao)(yao)拍攝一(yi)幅或多幅被激光(guang)(guang)(guang)(guang)(guang)器照(zhao)射的(de)目標(biao)(biao)物(wu)體(ti)(ti)表面圖(tu)像，通過對(dui)比圖(tu)像上經(jing)過物(wu)體(ti)(ti)表面調制(zhi)的(de)編碼光(guang)(guang)(guang)(guang)(guang)圖(tu)案(an)與未調制(zhi)的(de)編碼光(guang)(guang)(guang)(guang)(guang)圖(tu)案(an)可(ke)以測量獲得(de)目標(biao)(biao)表面的(de)3D形(xing)貌。與線結(jie)構光(guang)(guang)(guang)(guang)(guang)三角測量相比，只要(yao)(yao)編碼光(guang)(guang)(guang)(guang)(guang)能夠照(zhao)射到整個(ge)物(wu)體(ti)(ti)表面，物(wu)體(ti)(ti)與成像系統之間無需做相對(dui)運動即可(ke)獲取物(wu)體(ti)(ti)表面的(de)幾何全貌。

圖4 編(bian)碼結(jie)構光(guang)原(yuan)理示(shi)意圖

3.4 飛行時間深度測量（time of flight）

傳感器向目標物體發射經過調制的近紅外光脈沖，然后再接收從物體表面反射回來的光脈沖，通過計算返回脈沖與發射脈沖之間的相位差即可測出目標物體的深度。

3.5 聚焦深度測量（depth from focus）

由于相機的景深有限，在某物距下，目標物體表面上只有一部分點能夠在成像平面上清晰成像。聚焦深度測量利用這一原理，通過拍攝不同物距下同一物體的多幅圖像，提取圖像上清晰成像的像點位置，計算得到物體表面上各點的深度坐標。聚焦深度測量技術的精度一般高于雙目立體視覺和線結構光三角測量，但因其需要配合遠心鏡頭或顯微鏡頭使用，只適于對小尺寸物體進行測量。

3.6 光度立體視覺（photometric stereo vision）

物(wu)體表(biao)面反射光量的(de)(de)多少(shao)取(qu)決于(yu)該表(biao)面與(yu)光源和(he)觀察(cha)者之間的(de)(de)相(xiang)對姿態(tai)。采用不同的(de)(de)角(jiao)度(du)對靜止目標物(wu)體進行照明，在每個(ge)照明角(jiao)度(du)下(xia)，使(shi)用同一臺相(xiang)機在同一個(ge)固(gu)定視角(jiao)下(xia)拍(pai)攝一幅圖像，光度(du)立體視覺技術(shu)使(shi)用這(zhe)組圖像估計出目標物(wu)體表(biao)面的(de)(de)法向量。目前，機器人抓(zhua)取(qu)應用中使(shi)用的(de)(de)3D相(xiang)機主要采用3.1 ~ 3.4中的(de)(de)成(cheng)像原(yuan)理。

4 3D視覺(jue)處理算法

按(an)照不同(tong)的功能，3D視覺處理算法可(ke)分為：

4.1 點云濾波(bo)

點(dian)(dian)云(yun)的濾(lv)波(bo)（filter）算法主要用于點(dian)(dian)云(yun)數據的預處理，可實現去噪、平滑、采樣、特征提取(qu)等功能。濾(lv)波(bo)方法有：雙邊濾(lv)波(bo)、高斯濾(lv)波(bo)、條件濾(lv)波(bo)、隨機采樣一致性濾(lv)波(bo)等。

4.2 點云特征估計

4.2.1 點云局(ju)部特征估計

點(dian)(dian)云(yun)的(de)(de)局部特(te)(te)(te)征(zheng)(zheng)（local feature）估(gu)計(ji)算法用于(yu)估(gu)計(ji)點(dian)(dian)云(yun)中一點(dian)(dian)或一點(dian)(dian)周圍數(shu)個鄰近點(dian)(dian)的(de)(de)特(te)(te)(te)征(zheng)(zheng)值。這些特(te)(te)(te)征(zheng)(zheng)包括(kuo)法向量、曲率(lv)、邊界、點(dian)(dian)特(te)(te)(te)征(zheng)(zheng)直方(fang)圖（PFH）、快(kuai)速點(dian)(dian)特(te)(te)(te)征(zheng)(zheng)直方(fang)圖（FPFH）、視角特(te)(te)(te)征(zheng)(zheng)直方(fang)圖（VFH）、NARF描述子、旋轉投(tou)影統(tong)計(ji)特(te)(te)(te)征(zheng)(zheng)（Rotational Projection Statistics）等。

4.2.2 點云(yun)整體特征估計

點云(yun)的整體特征（global feature）估(gu)計算法用于估(gu)計某個點云(yun)集合的特征，如點云(yun)的表面積、小外(wai)接盒、大直徑、截面曲(qu)線等。

4.3 點云關鍵點提取

關鍵(jian)點(dian)(dian)（key point），也稱為(wei)興趣點(dian)(dian)，因為(wei)具(ju)有(you)某種特(te)點(dian)(dian)，可依照預(yu)先定義的標準被穩定地識(shi)別出(chu)來。點(dian)(dian)云(yun)關鍵(jian)點(dian)(dian)的提取算法(fa)有(you)：Harris3D、ISS3D、NARF、SIFT、SUSAN、Trajkovic3D。

4.4 點云配準(zhun)

由于(yu)遮擋等原(yuan)因，為了獲得完(wan)整的目標表面3D點云(yun)(yun)(yun)，常(chang)常(chang)需(xu)要從不同(tong)的視角(jiao)對同(tong)一(yi)目標物體進行(xing)掃描。點云(yun)(yun)(yun)配(pei)(pei)準(zhun)（registration）技術是將這些點云(yun)(yun)(yun)數(shu)據兩兩進行(xing)匹配(pei)(pei)，計算它(ta)們之間(jian)互(hu)相重疊的部(bu)分，將它(ta)們拼(pin)接在一(yi)起，獲得更全面的目標物體表面點云(yun)(yun)(yun)。點云(yun)(yun)(yun)配(pei)(pei)準(zhun)算法(fa)有近點迭代(dai)法(fa)（ICP）。

4.5 點云分割

點(dian)云(yun)分割(ge)(ge)(ge)(ge)(ge)（segmentation）算法(fa)用(yong)于將(jiang)點(dian)云(yun)數(shu)據分割(ge)(ge)(ge)(ge)(ge)成(cheng)不同(tong)的子集。依據應用(yong)需求(qiu)，可采用(yong)不同(tong)的分割(ge)(ge)(ge)(ge)(ge)方法(fa)，如平面(mian)分割(ge)(ge)(ge)(ge)(ge)、柱面(mian)分割(ge)(ge)(ge)(ge)(ge)、歐幾(ji)里得聚(ju)類(lei)提(ti)取(qu)、超體聚(ju)類(lei)分割(ge)(ge)(ge)(ge)(ge)、區域生長分割(ge)(ge)(ge)(ge)(ge)、基于小割(ge)(ge)(ge)(ge)(ge)的點(dian)云(yun)分割(ge)(ge)(ge)(ge)(ge)、基于法(fa)向量差的點(dian)云(yun)分割(ge)(ge)(ge)(ge)(ge)等(deng)。除(chu)了上(shang)述的3D點(dian)云(yun)分割(ge)(ge)(ge)(ge)(ge)方法(fa)，點(dian)云(yun)的分割(ge)(ge)(ge)(ge)(ge)也(ye)可結合2D圖像進行(xing)(xing)。先在(zai)2D圖像上(shang)應用(yong)邊(bian)緣提(ti)取(qu)、深度學習等(deng)算法(fa)，然后再對(dui)點(dian)云(yun)進行(xing)(xing)分割(ge)(ge)(ge)(ge)(ge)。

4.6 三維匹配

三維匹(pi)配（3D matching）算法(fa)(fa)的功能是在搜(sou)索(suo)數(shu)據中(zhong)(zhong)找到(dao)目(mu)標物體并確定它的3D位姿(zi)，其中(zhong)(zhong)，搜(sou)索(suo)數(shu)據可以是3D點云(yun)或2D圖(tu)像。三維匹(pi)配算法(fa)(fa)可分為(wei)基于(yu)形狀的3D匹(pi)配、基于(yu)表(biao)面的3D匹(pi)配和可變(bian)形表(biao)面的3D匹(pi)配。

4.7 點云擬(ni)合

如果某個點(dian)云子集為已知的(de)幾(ji)何形(xing)狀，如平面、柱(zhu)面、球面，可利用點(dian)云擬合(he)算(suan)法進行擬合(he)求出相應的(de)位(wei)姿和幾(ji)何參(can)數(shu)信息(xi)。

此(ci)外，點云處理算法(fa)還包括k維樹、八(ba)叉樹等方(fang)法(fa)。

在機器人抓(zhua)取作業中(zhong)，視覺(jue)的(de)重要任務之一是目標物體(ti)位姿的(de)估計(ji)。要估計(ji)位姿，正確地分割(ge)點云(yun)是前(qian)提。通常，綜(zong)合(he)利(li)用4.1~4.4中(zhong)的(de)方法，然后再對點云(yun)進行分割(ge)，后利(li)用三維匹配或點云(yun)擬合(he)估計(ji)出目標物體(ti)的(de)位姿。

5 實際案例研究

5.1 白色(se)抽屜紙盒機器人3D視覺分(fen)揀(jian)

任務描述：料框內雜亂(luan)堆(dui)放著不(bu)(bu)(bu)同(tong)(tong)型(xing)號(hao)的白色抽(chou)屜紙(zhi)(zhi)盒，并且這些(xie)紙(zhi)(zhi)盒的各個表面的長寬尺(chi)寸(cun)各不(bu)(bu)(bu)相同(tong)(tong)。3D視覺系統通過識別紙(zhi)(zhi)盒表面的尺(chi)寸(cun)將不(bu)(bu)(bu)同(tong)(tong)型(xing)號(hao)的紙(zhi)(zhi)盒區分開來，再由機器人將它們分別分揀到不(bu)(bu)(bu)同(tong)(tong)的料框中。

5.1.1 視覺(jue)系統設計

長方(fang)形(xing)鐵質料(liao)(liao)(liao)框(kuang)的尺寸為(wei)(wei)500 X 385 X 180 mm，壁厚(hou)為(wei)(wei)1.5 mm，為(wei)(wei)避免反(fan)光(guang)并增加視覺對比度，在料(liao)(liao)(liao)框(kuang)表面噴涂啞光(guang)黑漆(qi)。3D相機(ji)采用(yong)固定安裝，在長方(fang)形(xing)料(liao)(liao)(liao)框(kuang)的正(zheng)上(shang)方(fang)進行拍攝。考(kao)慮(lv)到ABB 2600機(ji)器人的工作范圍(wei)，3D相機(ji)距離料(liao)(liao)(liao)框(kuang)底部的高度需大于1000 mm并盡可(ke)能取小(xiao)值。

綜(zong)合(he)考慮(lv)各種因素，這里選用Ensenso N20-1202-16-BL相(xiang)機(ji)(ji)，該(gai)相(xiang)機(ji)(ji)的(de)(de)工(gong)作(zuo)原理是投射散斑(ban)紋(wen)理的(de)(de)雙目立體(ti)視覺技術(shu)，其分(fen)辨率為(wei)1280 X 1024像素，小、大和合(he)適工(gong)作(zuo)距離(li)(li)分(fen)別(bie)為(wei)1100 mm、2200 mm、1400 mm。料(liao)框底部(bu)距離(li)(li)相(xiang)機(ji)(ji)的(de)(de)距離(li)(li)設計為(wei)1400 mm，在(zai)該(gai)距離(li)(li)下(xia)3D相(xiang)機(ji)(ji)的(de)(de)Z向分(fen)辨率為(wei)1.037 mm，能夠滿足(zu)四個真空吸盤的(de)(de)抓取精度要求(qiu)；紙盒的(de)(de)大堆疊高度不(bu)超過230 mm，Ensenso N20-1202-16-BL在(zai)1150mm工(gong)作(zuo)距離(li)(li)下(xia)的(de)(de)視野范圍為(wei)572.90 X 497.96 mm，能夠滿足(zu)視野要求(qiu)。為(wei)避免環境光的(de)(de)影響(xiang)，在(zai)相(xiang)機(ji)(ji)頂(ding)部(bu)上方安裝遮(zhe)光板，在(zai)相(xiang)機(ji)(ji)旁邊加設白色光源。

圖5 白色抽(chou)屜盒分揀場景示意(yi)圖

5.1.2 視覺方法描述

為了識別紙盒表面的長寬尺寸、估計紙盒表面的位姿，就需要對紙盒表面的3D點云進行正確分割。這里將2D圖像處理技術與3D點云處理技術相結合：首先，相機接收到觸發信號，打開散斑投影儀拍攝一幅3D點云圖像；然后，關閉散斑投影儀，拍攝一幅左相機矯正灰度圖像。Ensenso通過計算左相機矯正圖像上各像素點的空間3D坐標，生成一幅3D點云圖像。因而，Ensenso所拍攝的3D點云圖像（有三個通道，其像素值分別代表X，Y，Z坐標）上各點的像素值與左相機矯正圖像上同一位置的像素值是一一對應的，可通過分割左相機矯正圖像來實現紙盒表面3D點云的分割。

視覺程序設計思路：

首先，利用邊緣提取、邊緣連接、腐蝕、膨脹等算法在左相機矯正圖像上分割出不同的紙盒表面區域；

然后，取每個區域所對應的3D點云，估計這片點云的厚度，若厚度小于閾值t，則認為這片點云代表了一個紙盒表面的幾何形貌，計算這片點云的3D小外接盒區域，即可估算得到紙盒表面的長寬尺寸、中心位置與姿態；若厚度大于閾值t，則認為2D圖像分割失敗，這片點云至少代表兩個紙盒表面的幾何形貌，這時先根據點云的法向量、曲率等特征對其進行3D分割，然后再進入上述的厚度判斷與尺寸、位姿的計算程序。為了縮短程序執行時間，對點云做3D分割之前，預先對其進行采樣以減少數據量。

檢查紙盒表面上方是否有遮擋，過濾掉上方有遮擋的結果，防止抓取過程中發生碰撞或損壞。

后，將處理結果按照表面中心高度、姿態方向和表面尺寸進行綜合排序，輸出到機器人抓取路徑規劃程序當中。路徑規劃程序根據視覺輸出的結果引導機器人運動并控制夾具動作。

5.1.3 視覺算法處理結果

如(ru)圖6（左上）所(suo)(suo)示(shi)，料框中散亂堆放著(zhu)三種型號的白色抽屜紙(zhi)(zhi)盒，由視覺程序(xu)輸(shu)出(chu)的紙(zhi)(zhi)盒表(biao)面尺(chi)寸(cun)與位姿的排序(xu)結果(guo)如(ru)表(biao)1所(suo)(suo)示(shi)。可以看(kan)出(chu)，視覺程序(xu)沒(mei)有給出(chu)被遮擋(dang)紙(zhi)(zhi)盒表(biao)面的計算結果(guo)。

圖6左(zuo)上(shang)：Ensenso左(zuo)相機矯正灰度圖；右(you)上(shang)：3D點云(yun)渲染(ran)效果圖；左(zuo)下：排(pai)序(xu)輸出結果；右(you)下：5#紙(zhi)盒表面點云(yun)圖

表1 白抽屜盒視(shi)覺算法(fa)輸出結果

經過測(ce)試，在該視覺(jue)系統下，紙盒表面(mian)尺寸的測(ce)量誤(wu)差小于(yu)5 mm，表面(mian)中心定位誤(wu)差小于(yu)2 mm，表面(mian)姿態估計(ji)誤(wu)差小于(yu)5度。使用intel i7-6820HQ CPU、主頻2.7GHz的LenovoP50筆記本計(ji)算機，視覺(jue)處(chu)理時間為3~5 s。

6 總結

本(ben)文主(zhu)要(yao)(yao)研究3D視(shi)(shi)覺(jue)技術(shu)在(zai)機(ji)器人(ren)(ren)抓取(qu)作(zuo)業(ye)中的(de)應(ying)用，歸納了(le)3D視(shi)(shi)覺(jue)技術(shu)在(zai)機(ji)器人(ren)(ren)抓取(qu)作(zuo)業(ye)中面臨的(de)挑戰，對機(ji)器人(ren)(ren)抓取(qu)視(shi)(shi)覺(jue)系統(tong)的(de)設計方法進行了(le)總結(jie)，搜集了(le)當前主(zhu)要(yao)(yao)的(de)3D成像技術(shu)及3D視(shi)(shi)覺(jue)算法，后給出了(le)應(ying)用案例(li)。

來源：自動化博覽(lan)