OFweek工控網:對于許多新鮮農產品批發商和超市而言,貼價格和促銷標簽占據了大量的人工勞動和大量費用支出。因此,許多用于為水果(如蘋果和桔子)貼標簽的大批量生產線已經實現自動化運營很多年。
但是,對于小批量產品,例如石榴或瓜類,情況則有所不同。到目前為止,這類產品外形的多樣性以及處理它們的復雜性,導致目前這些產品仍然由人工貼標簽,隨后再進行重包裝。
最近,英國Loop Technology公司開發出了一種基于視覺的、適應性強的機器人系統,其能夠自動為這類產品貼標簽。該系統使用3D相機識別在單元格內移動的產品、打印不同形狀和不同尺寸的標簽,并使用一對工業機器人將標簽貼到產品表面的特定位置上(見圖1)。
圖1:利用3D 飛行時間相機,Loop Technology公司開發出了一套基于視覺的機器人產品貼標系統,實現產品的自動貼標。
輸送機上的產品包裝箱首先經過視覺工作站,在這里將對目標水果進行識別。隨后根據水果種類打印標簽,將浪費降到最低程度,然后機器人優化標簽的取放,以實現有效運行。兩臺機器人協作配合,將單個或多個標簽貼到水果上。
系統架構
自動貼標系統由戴爾公司的一臺PC機控制,該PC機配有Intel Core i7處理器,運行人機界面(HMI)、機器視覺和機器序列軟件。該PC機與德國Beckoff公司的CX系列嵌入式PC聯接,提供系統實時控制;德國Pilz公司的PLC用于監控機器人單元周圍關鍵元件的狀態,例如急停按鈕和門鎖單元進入機制。
一旦水果容器送入自動貼標系統,在Beckhoff公司的CX系列嵌入式PC的控制下,它們從輥筒輸送機移動到驅動傳送帶上。隨后,產品箱進入視覺工作站中,在那里,新加坡Creative公司的Senz3D 飛行時間相機,利用調制紅外光源對產品進行照明,并捕獲反射光。相機數據通過USB 2.0接口傳輸到多核PC,PC對飛行時間數據進行分析,產生產品箱和下方傳送帶的3D點云。
3D數據至關重要,它用于使系統軟件得以確定產品表面上的點,讓機器人知道應該在何處貼標簽,但是高通、低通和縮放濾波器也用于由相機捕獲的三維數據,以產生二維灰度圖像。然后,PC上運行的美國康耐視公司的VisionPro軟件對圖像進行分段,將在相機視場下經過的各種類型的新鮮產品區分開來再識別。
當物體移動通過該系統時,圖像數據也用于產生物體的定位信息。要做到這一點,從圖像數據中提取各目標的點云數據,并使用Loop Technology公司開發的三維校準算法處理。這為每個物體提供了真實世界坐標系下的三維表面數據。然后對表面數據進行分析,用戶定義的目標參數用于計算三維空間中產品表面上的點,以及與其垂直的矢量,在該處機器人應當貼標簽。
Loop Technology公司的定制機器人通信軟件,允許目標數據在PC和一對機器人控制器之間傳輸。這些方式控制德國Kuka公司的兩臺KR6 R900 Agilus機器人,將標簽貼在水果表面上的任何預定位置。機器人控制器通過使用兩臺編碼器,跟蹤輸送帶移動,從而使得貼標無需延緩整個流程。
3D分析
通過使用英特爾支持的感知計算技術,Senz3D主要是針對手勢識別應用。這樣,基于相機的系統對手、臉,以及此應用中的瓜類表面反應良好。然而,感知計算是基于場景中的相對變化,而機器人定位需要真實世界坐標系中的精確三維數據。
因此,通過相機獲得的深度數據不是立即有用的,因為數據不是在真實世界坐標系中,因此不能用于定位機器人。使該問題更復雜的,是透鏡畸變和飛行失真(圖像外圍的物體顯得更遠)效應開始發揮作用,當直接呈現時場景具有翹曲曲率。
為了克服上述問題,Loop Technology公司采用由精密加工的塊構建的3D棋盤,開發了3D校準程序。使用已知的塊寬度、高度和深度,可以對原始數據中的各種失真計算出修正變換,并在笛卡爾空間產生新的點云。
水果的缺陷也會導致錯誤,使得裂痕和峰值出現在并不存在的地方。為了消除這種情況,在計算機器人的位置前采用表面映射算法,以平滑這些缺陷,并為機器人建立可靠的目標位置。
表示產品上一張或多張標簽需要貼放的位置的三維坐標,通過以太網接口傳送到機器人控制器。當一盒農產品在機器人的操作范圍內時,機器人臂端部的兩臺氣動驅動末端執行器,從兩臺標簽打印機挑出標簽,并貼到產品表面(見圖2)。完全標記好的產品隨后經輥式輸送機離開。
圖2:當一盒農產品在機器人的操作范圍內時,氣動驅動的末端執行器從兩臺標簽打印機挑出標簽,并貼到產品表面上。
訓練方法
該機器能夠標記多樣化的產品。雖然有許多工業貼標機已經能夠提供更快的吞吐量,但是它們的應用只局限于特定的產品類型。Loop Technology公司的機器可以通過觸摸按鈕選擇,就可以切換成面向不同的產品,如從為鱷梨貼標切換到為西瓜貼標,因此是面向低產量和季節性水果的理想選擇。
用戶看不見該系統的復雜性,接觸到的只是簡單的軟件界面,可用于訓練系統來識別新產品。使用基于瀏覽器的設置界面,甚至當機器在操作過程中,一個新產品也可以加入到可被識別的產品列表中。訓練要求單獨的樣品放置在輸送機上,并由相機成像。
一旦圖像被捕獲后,用戶可以設置深度閾值,以便樣品從傳送帶和任何包裝中清晰地突出,之后系統自動訓練來識別產品(見圖3)。要做到這一點,用Blob分析算法識別包含樣品的點云區域。然后,該數據被分析和量化,以產生獨特的產品數據集。
圖3:一旦輸送機上的產品圖像已經由相機捕獲,用戶可以設置深度閾值,以便樣品從傳送帶和任何包裝中清晰地突出。經過這樣的流程,系統被訓練來識別產品。
設置界面還允許用戶創建可以由機器人末端執行器貼在產品上的標簽的類型和尺寸庫。此外,標簽的圖像可以導入到該系統,以使得操作人員能夠在系統顯示器上看到標簽的特性。
需要貼到產品上的標簽數量和位置,也經由軟件設置接口控制。雖然標簽通常貼到產品的中心,但是多張標簽的位置可以稍加移動。為確定所選擇的標簽的位置,拖放界面允許選擇標簽,并拖拽到屏幕上產品模型的表面,放在所需的位置處。
然后,標簽信息作為系統上該特定產品工藝流程的一部分被存儲。每個單獨的工藝流程確定什么類型的產品將被識別,什么打印機應該用于粘貼標簽到產品上,以及用什么特定標簽。產品上粘帖標簽的位置和數量也可以定義。
編程界面讓用戶可以創建一組工藝流程,確定要識別的產品類型,所需的標簽種類和尺寸,以及需要粘帖到產品上的何處。
訓練方式和目標識別不對產品的定位或外觀進行任何假設。因此,該系統不受包裝的變化所影響,如盒子的尺寸、盒子中產品的數目以及受損的盒子。
(審核編輯: 林靜)
分享