基于計算機視覺的頭足類角質(zhì)顎特征研究I:輪廓與特征點提取*

賀芊菡 孫翁杰 劉必林, 3, 4, 5, 6 孔祥洪, 4 林龍山

基于計算機視覺的頭足類角質(zhì)顎特征研究I:輪廓與特征點提取*

賀芊菡1孫翁杰2劉必林1, 3, 4, 5, 6①孔祥洪1, 4林龍山7

(1. 上海海洋大學海洋科學學院 上海 201306; 2. 上海海洋大學信息學院 上海 201306; 3. 大洋漁業(yè)資源可持續(xù)開發(fā)教育部重點實驗室 上海 201306; 4. 國家遠洋漁業(yè)工程技術(shù)研究中心 上海海洋大學 上海 201306; 5. 農(nóng)業(yè)農(nóng)村部大洋漁業(yè)開發(fā)重點實驗室 上海 201306; 6. 農(nóng)業(yè)農(nóng)村部大洋漁業(yè)資源環(huán)境科學觀測實驗站 上海 201306; 7. 自然資源部第三海洋研究所 廈門 361005)

輪廓與特征點研究是頭足類角質(zhì)顎形態(tài)特征鑒別的基本方法, 對于輪廓與特征點的提取最常用的方法是手動描繪與標定, 利用計算機視覺進行輪廓與特征點的提取, 不僅可以降低手動提取帶來的誤差、提高準確性, 而且更加快速、便捷。文章將利用計算機視覺提取頭足類角質(zhì)顎的輪廓與特征點, 首先將自制裝置拍攝得到的角質(zhì)顎三視圖放入MTALAB軟件中進行編程處理, 然后利用Canny算法提取角質(zhì)顎輪廓, 最后根據(jù)地標點的定義標定特征點位置并建立空間坐標系得到角質(zhì)顎的特征點坐標。研究結(jié)果顯示, 利用計算機視覺提取角質(zhì)顎的輪廓圖像以及特征點坐標是可行的, 當標準差σ取值為0.1時角質(zhì)顎輪廓圖效果最佳, 在得到的輪廓圖上進行特征點的標定, 通過迭代遍歷輪廓圖獲得各個特征點的空間坐標。研究分析認為, 將計算機視覺應用于頭足類角質(zhì)顎形態(tài)學的研究可以提高研究的便捷性, 同時也為后續(xù)的研究提供了新的實驗思路和方法。

角質(zhì)顎; 特征點; 計算機視覺; 邊緣識別

角質(zhì)顎是頭足類的攝食器官, 其形態(tài)特征在頭足類的種類鑒定、種群判別、攝食生態(tài)等方面得到廣泛應用(劉必林等, 2009, 2015, 2018)。角質(zhì)顎特征點是根據(jù)角質(zhì)顎形態(tài)特征選取的重要地標點(Neige, 2002), 多用于角質(zhì)顎輪廓以及形態(tài)參數(shù)的提取(劉必林等, 2016)。手動提取地標點是獲取角質(zhì)顎特征點的傳統(tǒng)方法(方舟等, 2014), 而利用計算機視覺進行角質(zhì)顎形態(tài)特征研究是一種新方法, 它可提高特征點提取的便捷性。計算機視覺在生物學研究中的作用日益凸顯(周鴻斌, 2009), 例如國外學者利用計算機視覺研究魚類耳石的形態(tài)特征(Rypel, 2008)。Canny算法屬于一種優(yōu)化輪廓算法(王小俊等, 2012), 在圖像輪廓識別中具有重要作用, 由于其準確性高、成像好等特點(林卉等, 2003), 在農(nóng)業(yè)、醫(yī)學、工業(yè)等領域中應用廣泛, 并逐漸應用于生物學領域(鄭暉等, 2009; 李沙等, 2013)。本文利用Canny算法進行角質(zhì)顎邊緣識別并得到輪廓圖, 再通過MATLAB編程將角質(zhì)顎的輪廓圖進行優(yōu)化處理, 標定角質(zhì)顎的特征點并計算其空間坐標, 以探討計算機視覺提取角質(zhì)顎輪廓和特征點的可行性,旨在為角質(zhì)顎形態(tài)特征的研究提供更加快速、準確的方法。

1 材料與方法

1.1 材料來源

實驗用1尾鳶烏賊()樣品來源于2019年1—2月在印度洋進行燈光圍網(wǎng)生產(chǎn)時所采集, 地點位于17°4′N—17°18′N, 61°5′E—61°35′E。樣品實驗室解凍后提取其角質(zhì)顎并放入75%的酒精中保存。

1.2 角質(zhì)顎三視圖的拍攝

利用自制拍攝裝置對角質(zhì)顎(上顎和下顎)進行拍照, 裝置利用兩個45°三棱鏡光線反射原理, 經(jīng)一次拍攝同時獲取口視、腹視和側(cè)視圖(圖1, 圖2)。

注: 1. 角質(zhì)顎樣本; 2. 入射光線; 3. 反射光線; 4. 45°三棱鏡; 5. 入射光線; 6. 反射光線; 7. 載玻片; 8. 反射光線; 9. 入射光線

圖2 角質(zhì)顎三視圖

注: a, b, c分別為上顎側(cè)視圖、腹視圖和口視圖; d, e, f分別為下顎側(cè)視圖、腹視圖和口視圖。其中黑色線條為比例尺(1cm)

1.3 角質(zhì)顎輪廓的提取

利用Canny算法提取角質(zhì)顎輪廓, 其主要步驟如下:

(1) 將上顎和下顎三視圖進行灰度化處理(帥曉華, 2019), 得到角質(zhì)顎灰度圖(圖3)。

(2) 利用2D高斯濾波模板和原圖像進行卷積來消除噪聲, 此研究的模板大小為5*5。二維高斯函數(shù)如式所示(肖強明等, 2011):

圖3 角質(zhì)顎灰度圖

注: a, b, c分別為上顎三視圖的灰度圖; d, e, f分別為下顎三視圖的灰度圖。其中黑色線條為比例尺(1cm)

其中, 標準差σ的取值決定了圖像的平滑程度, 研究中分別取標準差σ為10, 1, 0.1, 0.01進行分析。

(3) 利用導數(shù)算子求出圖像灰度沿著2個方向的導數(shù)G和G, 并求出梯度的大小和方向(王緒四等, 2011):

(4) 利用非極大值抑制(non-maximum suppression)消除邊緣檢測帶來的雜散響應(Herout, 2012), 即將邊緣最大值之外的所有梯度值抑制為0, 對梯度圖像中每個像素進行非極大值抑制的算法為: 將當前像素的梯度強度與沿正負梯度方向上的兩個像素進行比較, 如果當前像素的梯度強度與另外兩個像素相比最大, 則該像素點保留為邊緣點, 否則該像素點將被抑制。

(5) 通過雙閾值計算邊緣(張晶晶等, 2011), 凡是小于低閾值的一定不是邊緣, 凡是高于低閾值的一定是邊緣, 如果檢測結(jié)果在兩個閾值之間, 那么檢查這個像素的鄰接像素中有沒有超過高閾值的邊緣像素, 若沒有則它不是邊緣, 否則就是邊緣。

(6) 通過抑制孤立的弱邊緣最終完成輪廓檢測(Woodman, 2001)。為了獲得準確的結(jié)果, 應該抑制由雙閾值計算引起的弱邊緣, 通過查看弱邊緣像素及其8個鄰域像素, 只要其中一個為強邊緣像素, 該弱邊緣點就可以保留為真實的輪廓。

1.4 角質(zhì)顎特征點的提取

根據(jù)前人研究, 對上顎和下顎各10個特征點進行標定并編號1—10 (Neige, 2002, 表1)。利用MATLAB設計算法提取角質(zhì)顎特征點, 具體步驟如下: 迭代遍歷圖像中角質(zhì)顎的輪廓, 獲取角質(zhì)顎的邊緣信息建立二維坐標系, 坐標系的原點位于圖像的左下角; 沿角質(zhì)顎輪廓迭代遍歷全圖, 優(yōu)先提取特征明顯的特征點, 獲取二維坐標; 通過已提取的部分特征點適當分割圖像, 減少提取其他特征點所需遍歷的范圍, 最后提取所有特征點在該視圖上的二維坐標; 根據(jù)各特征點在三視圖上的二維坐標, 建立空間三維坐標系, 通過算法運算得出所有特征點的三維坐標。

表1 角質(zhì)顎地標點的定義(Neige, 2002)

2 結(jié)果

2.1 角質(zhì)顎輪廓的提取

利用Canny算法將預處理的灰度圖進行輪廓識別, 分別設置σ值為10、1、0.1和0.01得到不同清晰度的輪廓圖(表2, 圖4, 圖5), 當σ取值為0.1得到上下顎三視圖的輪廓清晰連續(xù), 不存在虛假輪廓, 且角質(zhì)顎色素變化明顯的部分清晰可見(圖6)。

表2 σ值對輪廓識別的影響

圖4 σ取值不同的結(jié)果圖

注: 圖中柱狀形狀表示比例尺長度為1cm

圖5 σ取值為0.1和0.01的輪廓放大圖

圖6 角質(zhì)顎輪廓圖

注: a, b, c分別為上顎三視圖的輪廓圖; d, e, f分別為下顎三視圖的輪廓圖。其中黑色線條為比例尺(1cm), 白色箭頭所指為角質(zhì)顎色素變化明顯部位

2.2 角質(zhì)顎特征點提取

根據(jù)上、下顎特征點標定的定義與標定圖(表3, 圖7), 結(jié)合上、下顎三視圖(圖2), 將標定的特征點顯示于三維空間坐標系中, 由于一些特征點在空間中形成的是對稱點, 故存在兩個坐標, 須用不同編號加以區(qū)分(圖8)。上顎2號、3號和7號特征點存在對稱點; 下顎2號、3號、4號和9號特征點存在對稱點。根據(jù)得到的上、下顎特征點空間坐標系進行編程運算, 得到樣本每個特征點的空間坐標(表4)。

表3 角質(zhì)顎特征點標定的定義

Tab.3 The definition of characteristic point calibration of the beak

圖7 角質(zhì)顎特征點標定圖

注: 黑色線條表示比例尺(1cm)

圖8 上下顎特征點空間坐標系

3 討論

3.1 角質(zhì)顎輪廓的提取

由角質(zhì)顎輪廓圖(圖6)可知, 利用Canny算法不僅可以清晰提取角質(zhì)顎輪廓, 還可以顯示角質(zhì)顎色素變化明顯的部分(林靜遠等, 2020)。由σ取值的變化可以看出(表2, 圖4), 選取合適的σ值對于角質(zhì)顎輪廓的提取有著重要作用。σ值過大容易造成虛假輪廓, 輪廓模糊的問題; σ值過小時, 圖片的變化較小, 但放大后看到提取的輪廓不夠平滑(圖5), 對于特征點的提取容易造成誤差(陳宏希, 2006; 陳楠樺等, 2018), 因此選取合適的σ值可以得到清晰的輪廓且可以提高特征點提取的準確性。

表4 角質(zhì)顎特征點坐標

Tab.4 Coordinates of characteristic points of the beak

利用MATALB軟件運行Canny算法是為了獲取圖像的最優(yōu)輪廓(周志宇等, 2008)。利用計算機視覺對頭足類角質(zhì)顎形態(tài)特征進行識別, 不僅可以提取清晰的輪廓圖, 還能確定色素變化明顯的部分, 這些角質(zhì)顎輪廓的細微區(qū)別可用于頭足類種類和群體的判別中(陳芃等, 2015)。計算機視覺的便捷性和準確性將大幅促進頭足類角質(zhì)顎形態(tài)學的應用研究。

3.2 角質(zhì)顎特征點的提取

本研究依據(jù)地標點的定義對特征點進行標定(圖7), 并結(jié)合角質(zhì)顎三視圖得到上、下顎特征點的空間坐標系(圖8), 并提取各特征點的三維空間坐標(表4)。特征點的三維空間坐標不僅可以用于角質(zhì)顎形態(tài)參數(shù)的提取, 還可以應用于頭足類種群判別與種類鑒定等研究(劉必林等, 2015; 馬迪等, 2018)。

在提取特征點的過程中發(fā)現(xiàn), 對于切點的提取尤為關鍵, 需要結(jié)合已知的特征點進行切線運算。切點的提取需要進行迭代遍歷, 遍歷的最小單位為1/10個像素點(李慧敏等, 2017), 通過不斷的迭代尋找到距離切線最遠的點即為切點。利用計算機視覺對輪廓進行運算分析, 確定每個特征點的位置和坐標, 提高了尋找特征點的效率和確定特征點位置坐標的準確性。因此, 利用計算機視覺進行角質(zhì)顎特征點的提取是切實可行的新方法, 為后續(xù)利用計算機視覺進行角質(zhì)顎形態(tài)學研究打下了基礎。

4 結(jié)論

通過本研究分析可知, 利用計算機視覺提取角質(zhì)顎輪廓和特征點是切實可行的, 不僅得到了清晰的輪廓圖和色素突變的位置, 還標定了各特征點的空間坐標, 繼而可用于計算角質(zhì)顎形態(tài)參數(shù)。自動化識別模式已廣泛應用于生物學、農(nóng)學和醫(yī)學等領域(馬笑瀟等, 2001; 高衛(wèi)東等, 2002; 韓瑞珍等, 2013; 李慧敏等, 2017), 檢驗葉類蔬菜的新鮮度(馮甲一, 2012)、識別昆蟲等(楊宏偉等, 2005)。為了提高獲取角質(zhì)顎形態(tài)特征的準確性、便捷性, 本文首次將計算機視覺技術(shù)應用到頭足類角質(zhì)顎形態(tài)學研究中。今后希望能夠逐步做到自動化, 與大數(shù)據(jù)時代相接軌, 將頭足類角質(zhì)顎的形態(tài)學研究提升到一個新高度。

馬 迪, 金 岳, 陳 芃等, 2018. 基于角質(zhì)顎形態(tài)的東海2種常見烏賊類的種類判別. 上海海洋大學學報, 27(4): 594—602

馬笑瀟, 黃席樾, 周 欣等, 2001. 指紋自動識別系統(tǒng)中的關鍵技術(shù)——方向圖. 重慶大學學報(自然科學版), 24(3): 91—94

王小俊, 劉旭敏, 關 永, 2012. 基于改進Canny算子的圖像邊緣檢測算法. 計算機工程, 38(14): 196—198

王緒四, 楊恢先, 謝鵬鶴等, 2011. 基于二階導數(shù)算子與小波變換的圖像去噪. 計算機工程, 37(12): 187—189

方 舟, 陳新軍, 陸化杰等, 2014. 頭足類角質(zhì)顎研究進展Ⅰ——形態(tài)、結(jié)構(gòu)與生長. 海洋漁業(yè), 36(1): 78—89

帥曉華, 2019. 基于計算機視覺的茶葉色澤檢測研究. 農(nóng)機化研究, 41(6): 209—213

馮甲一, 2012. 基于計算機視覺技術(shù)的葉類蔬菜新鮮度檢測分級研究. 南京: 南京農(nóng)業(yè)大學碩士學位論文, 5—10

劉必林, 陳新軍, 2009. 頭足類角質(zhì)顎的研究進展. 水產(chǎn)學報, 33(1): 157—164

劉必林, 陳新軍, 方 舟等, 2015. 基于角質(zhì)顎長度的頭足類種類判別. 海洋與湖沼, 46(6): 1365—1372

劉必林, 林靜遠, 方 舟等, 2018. 頭足類角質(zhì)顎穩(wěn)定同位素研究進展. 海洋漁業(yè), 40(2): 242—248

劉必林, 林靜遠, 陳新軍等, 2016. 西北太平洋柔魚角質(zhì)顎微結(jié)構(gòu)及其生長紋周期性研究. 海洋與湖沼, 47(4): 821—827

李 沙, 謝 鵬, 姚 麗, 2013. 自適應Canny算法的植物葉片圖像邊緣檢測應用. 電腦知識與技術(shù), 9(22): 5126—5128

李慧敏, 張之江, 2017. 基于模板迭代更新的圖像配準算法. 電子測量技術(shù), 40(10): 134—138

楊宏偉, 張 云, 2005. 計算機視覺技術(shù)在昆蟲識別中的應用進展. 生物信息學, 3(3): 133—136

肖強明, 李培林, 王 崴等, 2011. 基于分形和高斯濾波的維修件粗糙表面重構(gòu)與基準提取. 機械設計與制造, (11): 253—255

張晶晶, 范學良, 蔡小舒, 2011. 計算Canny算子雙閾值的新方法. 中國粉體技術(shù), 17(1): 67—71

陳 芃, 方 舟, 陳新軍, 2015. 基于角質(zhì)顎外部形態(tài)學的柔魚種群判別. 海洋漁業(yè), 37(1): 1—9

陳宏希, 2006. 基于邊緣保持平滑濾波的Canny算子邊緣檢測. 蘭州交通大學學報, 25(1): 86—90

陳楠樺, 梁仁杰, 白 義等, 2018. 基于幾何形態(tài)測量學的四種濱螺形態(tài)差異與系統(tǒng)發(fā)生關系研究. 海洋與湖沼, 49(6): 1365—1374

林 卉, 趙長勝, 舒 寧, 2003. 基于Canny算子的邊緣檢測及評價. 黑龍江工程學院學報, 17(2): 3—6, 16

林靜遠, 劉必林, 金 宵, 2020. 頭足類角質(zhì)顎的色素沉積機制. 水產(chǎn)學報, 44(5): 777—783

周志宇, 劉迎春, 張建新, 2008. 基于自適應Canny算子的柑橘邊緣檢測. 農(nóng)業(yè)工程學報, 24(3): 21—24

周鴻斌, 2009. 基于計算機視覺的魚類運動監(jiān)測系統(tǒng)研究. 杭州: 浙江工業(yè)大學碩士學位論文, 5—10

鄭 暉, 張利群, 孟慶軍等, 2009. 使用基于Canny理論的算法自動識別及篩選菌落. 山東科學, 22(4): 34—41

高衛(wèi)東, 劉基宏, 徐伯俊等, 2002. 織物中經(jīng)紗排列參數(shù)的自動識別. 棉紡織技術(shù), 30(3): 31—34

韓瑞珍, 何 勇, 2013. 基于計算機視覺的大田害蟲遠程自動識別系統(tǒng). 農(nóng)業(yè)工程學報, 29(3): 156—162

Herout A, Hradi? M, Zem?ík P, 2012. EnMS: early non-maxima suppression-speeding up pattern localization and other tasks. Pattern Analysis and Applications, 15(2): 121—132

Neige P, Dommergues J L, 2002. Disparity of beaks and statoliths of some Coleoids: a morphometric approach to depict shape differentiation. Abhandlungen der Geologischen Bundesanstalt, 57(5): 393—399

Rypel A L, 2008. An inexpensive image analysis system for fish otoliths. North American Journal of Fisheries Management, 28(1): 193—197

Woodman R J, Playford D A, Watts G F, 2001. Improved analysis of brachial artery ultrasound using a novel edge-detection software system. Journal of Applied Physiology, 91(2): 929—937

MORPHOLOGICAL STUDY ON BEAK OF CEPHALOPODS BASED ON COMPUTER VISION I: CONTOUR AND FEATURE POINT EXTRACTION

HE Qian-Han1, SUN Weng-Jie2, LIU Bi-Lin1, 3, 4, 5, 6, KONG Xiang-Hong1, 4, LIN Long-Shan7

(1. College of Marine Sciences, Shanghai Ocean University, Shanghai 201306, China; 2. College of Information Technology, Shanghai Ocean University, Shanghai 201306, China; 3. The Key Laboratory of Sustainable Exploitation of Oceanic Fisheries Resources, Ministry of Education, Shanghai 201306, China; 4. National Distant-water Fisheries Engineering Research Center, Shanghai Ocean University, Shanghai 201306, China; 5. Key Laboratory of Oceanic Fisheries Exploration, Ministry of Agriculture and Rural Affairs, Shanghai 201306, China; 6. Scientific Observing and Experimental Station of Oceanic Fishery Resources, Ministry of Agriculture and Rural Affairs, Shanghai 201306, China; 7. Third Institute of Oceanography, Ministry of Natural Resources, Xiamen 361005, China)

Contour and feature points are the basic morphological features of cephalopod beak. The most commonly used method for contour and feature point extraction is manual description and calibration, using computer vision to extract contour and feature points can not only reduce the error caused by manual extraction, improve the accuracy, but also be faster and more convenient. In this study, we used computer vision to extract the contour and feature points of cephalopod beak. First, a self-made device was designed and programmed in MATLAB software, and used for capturing the three-dimensional view of the beak, and then the contour of the beak was extracted in the Canny algorithm. Finally, the feature point position was calibrated according to the definition of landmark, and the feature point coordinates of the beak were obtained by establishing the spatial coordinate system. The research results show that it was feasible to extract the contour image and feature point coordinates of the beak by computer visioning. When thesvalue was 0.1, the contour image of beak had the best effect. The feature points were calibrated on the contour picture, and the spatial coordinates of each feature point were obtained by iterating through the contour picture. It was believed that the application of computer vision in the study of beak morphology of cephalopods could improve the accuracy and convenience of the study, and provide new experimental ideas and methods for the follow-up study.

beak; feature points; computer vision; edge recognition

* 國家重點研發(fā)計劃, 2019YFD0901404號; 國家自然科學基金面上項目, NSFC41876141號; 全球變化與海氣相互作用專項, GASI-01-EIND-YD01aut/02aut號; 上海市“浦江人才”計劃項目, 18PJ1404100號; 上海市高校特聘教授“東方學者”崗位計劃項目, 0810000243號; 上海市科技創(chuàng)新行動計劃, 19DZ1207502號。賀芊菡, 碩士研究生, E-mail: 695799075@qq.com

劉必林, 博士生導師, 教授, E-mail: bl-liu@shou.edu.cn

2020-03-15,

2020-06-26

Q954; Q959.216; TP399

10.11693/hyhz20200300074