視覺是人類最重要的感覺器官，占人類信息獲取的80%以上。機器視覺作為一種替代人眼的強大技術，已經取得了巨大的突破并得到了廣泛的應用。機器視覺系統可以代替人眼完成測量、定位、識別和檢測，在制造業、安防、文化等行業有大量的應用機會。

　　機器視覺不僅可以克服人眼標準的不一致性、不重復性和主觀性，還可以為行業制定質量控制的數字化標準。在高速度、高光譜、高分辨率、高可靠性、工作連續性、環境適應性等方面也能超越人眼的極限。

　　背景介紹和案例總結

　　近年來，隨著工業自動化和物流技術的不斷發展，如何利用自動化設備提高物流效率，減少人工已經成為物流行業最關心的問題。機器視覺系統能夠快速獲取大量圖像信息并自動處理，使得機器視覺幫助物流行業快速走向智能化和自動化。目前，在工業自動化應用中，機器視覺廣泛應用于缺陷檢測、掃描識別、定位判斷和位置測量。可以在節省人力成本，提高整體運營效率的同時，大大提高空間利用率，從而降低運輸成本。

　　隨著電子商務和物流業的快速發展，分揀模式的發展迫在眉睫。人工分揀存在效率低、出錯率高、成本高等缺點。特別是在碼垛應用中，由于人工工作強度大、工作內容單一、質量和效率普遍較低，自動碼垛系統應運而生。在傳統的自動碼垛應用中，經常要求“拆包”和“編碼”的對象是規則和單一尺寸的貨物。在這種情況下，傳統的手工教學方法難度大，效率低。為了解決這一問題，?？禉C器人研發了一套基于機器視覺引導的機械臂拆包碼垛方案，可以解決多SKU、無序來料的問題。

　　?？禉C器人采用自主研發的高精度3D攝像頭、機器人運動控制平臺軟件和智能算法的方案，將AI算法和深度學習緊密結合，突破了傳統自動碼垛的局限性，可以應對復雜多變的碼垛形狀、多樣隨機的箱子。

　　方案介紹

　　在該方案中，3D攝像機負責獲取工作范圍內盒子(如托盤或傳送帶)的深度信息和高清2D圖像，并將深度信息和2D圖像信息發送給機器人控制平臺軟件。平臺軟件內置3D視覺算法和智能軌跡規劃算法。3D視覺算法通過AI深度學習+3D點云分割，可以快速準確定位盒子在托盤或帶線上的位置，智能軌跡規劃算法提供精確的抓取點、放置點和軌跡點，引導機械臂快速抓取和堆疊。

　　三維視覺引導碼垛系統

　　方案中使用的3D攝像機是?？禉C器人新推出的寬視場雙目結構光立體攝像機，具有精度高、景深大、視場大的特點。相機的探測精度達到3 mm，探測范圍達到1800mm，近視視場為1350mm×1200mm，遠視視場為3650mm×2750mm(如圖2所示)，可以輕松適配1.2m * 1m * 1。同時具有極高的檢測效率和穩定性，從拍照到軌跡算法輸出抓取點的時間小于1.5s。

　　3D攝像機視野示意圖

　　為了更方便客戶自主搭建機械臂拆包碼垛的控制系統，?？禉C器人專門開發了機器人運動控制平臺軟件。軟件采用圖形化無代碼編程界面，簡單易用(如圖3)。軟件內置軌跡規劃、碰撞檢測、抓取規劃等智能算法，軟件可適配國內外各種主流品牌的機器人。

　　碼垛視覺定位模塊采用AI深度學習+3D點云分割的方案。使用RGBD相機對堆積物進行實時拍照，獲取包裹和托盤的三維數據(深度圖+RGB圖)。定位處理流程如圖4所示。首先，使用深度學習網絡對RGB圖像包進行粗略定位。然后利用物體表面的紋理特征和點云的邊緣特征進行包裹的精確定位，并基于包裹表面的點計算最優抓取點坐標。最后，利用預先獲得的手眼標定關系，將視覺位姿轉換到機械臂的坐標系中進行抓取處理。

　　視覺定位的技術路線

　　海康機器人3D攝像機具有出色的抗環境光能力。在典型的工廠光照條件下(20000lx)，?？禉C器人3D相機的點云數據明顯優于其他相機，對比圖片如圖5所示。同時，?？禉C器人3D相機在渲染高反光和黑色物體的點云方面也優于其他相機，對比圖像如圖6所示。在實際測試樣本中，其他3D相機在高反光金屬和黑色紙箱中的點云數據都有很大程度的丟失，而?？禉C器人3D相機仍然可以保證比較完整的呈現。

　　反環境光對比度

　　高反射和黑色物體的對比測試

　　該方案采用2D+3D組合視覺定位處理，具有精度高、魯棒性強、抗環境光能力強、不怕黑暗物體等特點。可精確應用于各種盒子、包裝盒、雜志、編織袋、工件等物體，定位效果和精度不受物體位置和姿態的影響。

　　定位效果圖

　　智能軌跡規劃算法包括拆包過程和堆垛過程的點規劃。如圖8所示，通過解包分析/堆疊分析確定路徑規劃的終端配置，然后根據感知信息和環境配置，通過碰撞檢測規劃出安全的解包/堆疊路徑。拆包分析和堆疊分析的一般過程如下:

　　拆垛分析是基于三維視覺分類的點云，通過平面擬合計算出相應的法向量、重心位置等信息，從而得到每類點云的拆垛點位置。同時，在路徑規劃過程中，物體的大小由用于碰撞檢測的外接矩形決定；然后，通過基坐標與托盤的轉換關系、機器人狀態和拆垛方式來評估拆垛姿態的代價，最終確定最優的拆垛構型。

　　碼垛分析是對用戶編輯或自動生成的碼垛圖案進行解碼(如圖9所示)，通過基坐標/托盤變換關系的計算，對每個擺放姿態的代價進行評估和排序，從而得到擺放構型序列，并根據輸入的擺放指標和機械臂逆運動姿態得到最終的擺放構型，同時內部存儲碼垛盒的信息，用于路徑規劃過程中的碰撞檢測。

　　開箱和碼垛的整個過程

　　碼垛規則定義示意圖

　　摘要

　　?？禉C器人三維視覺引導碼垛系統旨在解決非結構化環境下無法抓取形狀未知的物體或抓取成功率低的問題。基于高精度三維相機的抓斗和環境的2D彩色圖像信息，結合三維點云數據，精確提取抓斗的邊緣輪廓，通過智能算法選擇最優抓斗點，并基于軟件中設置的環境約束輸出最優軌跡點，提高了整個系統的精度和可靠性。通過使用該系統，用戶可以輕松應對多SKU、完全隨機來料的場景，在滿足自動化碼垛要求的同時，進一步提高生產效率，降低生產成本。