字級:
小字級
中字級
大字級

以深度學習模型進行魚蝦本體快速自動標記

資料來源:行政院農業委員會水產試驗所/林志遠研究員、工研院微系統中心/鄭憲君工程師

在觀賞水族產業中,相關水族物種的外觀表徵可決定其等級與市場價值。其中例如色彩與表面紋路,是評定觀賞魚蝦等級的主要依據。以水晶蝦而言,其體表紅白色澤的比例分佈是決定其分級結果的重要表徵;錦鯉或七彩神仙等高價魚種亦是以其魚體外表的色塊與紋理做為品系與分級的依據。 體表色彩紋理等外顯特徵亦可用以判定魚隻的健康狀況。以紅蓮燈為例,其體表色彩的鮮艷程度可做為魚隻狀況的參考指標。

傳統上在以影像方法進行前述的判定時,常需要將目標魚蝦移至特定的環境中,以排除各種影像干擾。這樣的作業方式不但耗費人力,亦常對魚蝦造成緊迫與傷害。近年來深度學習方法在許多應用中展現了新的可能性,其中包括可在複雜背景中偵測目標物的方法。本文即以深度學習方法為工具,針對觀賞魚蝦本體的偵測標記進行測試,提出一可快速完成模型訓練的方法流程,以期能使觀賞魚蝦的自動偵測與分級更趨於實用化。

雖然深度學習模型具備高度的影像處理能力,但其成功的要素之一在於合適且足量的訓練資料。一般而言,建立訓練資料至少有兩個困難點:應用案例難以收集足夠的原始影像,以及影像標記耗費的人力與時程甚鉅。以2萬張影像資料的標記為例,若一人可在每日8小時當中不間斷地以每分鐘一張的速度進行標記,尚需42個工作天才能完成。實務上每張影像的標記時間常需要數分鐘以上,人員亦無法不間斷作業。前述的時程估計尚未考量標記人員的專業度,亦未納入影像收集所需時程與常見的資料不可得性。

為解決上述的困難點,本文以首先對影像中標的物前後景切割,之後以選擇性合成與遮罩方式進行訓練資料生成等的創新流程程式設計對紅蓮燈與水晶蝦進行測試,各自分別產生21,900組合成影像與對應遮罩資料。本測試引用的模型為Mask-RCNN,使用GeForce GTX 1080等級GPU硬體,在數小時內即可完成單一模型的訓練,其模型的有效性量化指標Intersection over Union (IoU)可達約0.8左右,亦即屬於良好的標記結果。

圖1上半部為訓練用的合成影像例,下半部則為對應的前景物遮罩標記,圖2與圖3則為測試結果。在圖2中列出的六張測試圖當中,模型皆能正確偵測到畫面中魚隻的位置。圖3列出12張水晶蝦的實測結果,可看到無論目標蝦體的相對大小或背景的樣式,除左下角的實測例結果較不理想外,模型皆可有效進行蝦隻本體像素的標記。總之,圖2與圖3顯示紅蓮燈與水晶蝦本體像素的標記結果,其整體平均IoU分別為0.8414與0.7794,顯示模型的標記範圍與實際範圍高度吻合。

圖1.影像合成結果示例圖1.影像合成結果示例
圖2.紅蓮燈本體自動標記測試結果(平均IoU為0.8414)圖2.紅蓮燈本體自動標記測試結果(平均IoU為0.8414)
圖3.水晶蝦本體自動標記測試結果(平均IoU為0.7794)圖3.水晶蝦本體自動標記測試結果(平均IoU為0.7794)

本文所建立的魚蝦本體影像標記方法,未來可做為觀賞魚蝦體表特徵或色彩紋理的偵測基礎,利用深度學習方法於非控制環境中直接進行觀賞魚蝦分級或體表色彩分析之用。此方法應用時無需將魚蝦轉換至單純背景或其它受控環境,故可有效降低偵測過程中對魚蝦的干擾與傷害,同時亦可簡化相關作業流程,在後續的產業利用面具備可行性。

▲研發團隊:水產試驗所/工研院微系統中心

聯絡人:林志遠 研究員

電話:02-24622101#2503

E-mail:cylin@mail.tfrin.gov.tw

TOP