發(fā)布時間：所屬分類：農(nóng)業(yè)論文瀏覽：1次
摘 要： 摘要: 準(zhǔn)確獲取西蘭花花球面積和新鮮度是確定其長勢的關(guān)鍵步驟，本研究通過對深度殘差網(wǎng)絡(luò)ResNet進(jìn)行改進(jìn)得到一種新型的西蘭花花球分割模型，并通過花球部位黃綠顏色占比判斷其新鮮度，實現(xiàn)低成本高效準(zhǔn)確地西蘭花表型信息提
摘要: 準(zhǔn)確獲取西蘭花花球面積和新鮮度是確定其長勢的關(guān)鍵步驟，本研究通過對深度殘差網(wǎng)絡(luò)ResNet進(jìn)行改進(jìn)得到一種新型的西蘭花花球分割模型，并通過花球部位黃綠顏色占比判斷其新鮮度，實現(xiàn)低成本高效準(zhǔn)確地西蘭花表型信息提取。主要技術(shù)流程包括：(1)基于地面自動影像獲取平臺拍攝西蘭花花球正射影像并建立原始數(shù)據(jù)集;(2)對訓(xùn)練圖像進(jìn)行預(yù)處理并輸入模型進(jìn)行分割;(3)基于顏色信息用粒子群結(jié)構(gòu)PSO和大津法Otsu對分割結(jié)果進(jìn)一步進(jìn)行閾值分割，獲取其新鮮度指標(biāo)。試驗結(jié)果表明：本研究建立的分割模型精度優(yōu)于傳統(tǒng)深度學(xué)習(xí)模型和基于顏色空間變換和閾值分割模型，4個評價指標(biāo)結(jié)構(gòu)相似性指數(shù)(SSIM)、平均精度(Precision)、平均召回率(Recall)、F-度量(F-measure)結(jié)果分別為0.911、0.897、0.908和0.907，相比于傳統(tǒng)方法提升了10%-15%，且對土壤反射率波動、冠層陰影、輻射強度變化等干擾具有一定的魯棒性。同時，在分割結(jié)果的基礎(chǔ)上采用PSO-Otsu法可以實現(xiàn)花球新鮮度快速分析，其精度超過了0.8。本研究結(jié)果實現(xiàn)了西蘭花田間多表型參數(shù)的高通量獲取，可以為作物田間長勢監(jiān)測研究提供重要參考。
關(guān)鍵詞: 深度學(xué)習(xí);西蘭花表型;機器視覺;自動分級;田間平臺
1 引言
西蘭花是十字科一、二年生草本植物，其蛋白質(zhì)含量高并富含多種維生素和多酚類物質(zhì)，具有較高的種植效益和經(jīng)濟價值[1]。中國是西蘭花生產(chǎn)與消費大國，據(jù)“國家西蘭花良種重大科研聯(lián)合攻關(guān)”項目調(diào)研結(jié)果，中國目前種植面積和產(chǎn)量均居世界首位。因西蘭花是選擇性收獲作物，同一地塊上不同個體花球大小及新鮮水平呈現(xiàn)較大差異，如何精確地對每個花球大小及新鮮度進(jìn)行評估，是提高采收效率、保證采收質(zhì)量的關(guān)鍵。過去對西蘭花花球檢測主要依靠人工，即通過農(nóng)藝人員定期在田間對不同個體進(jìn)行花球大小、圓度等參數(shù)測量。但傳統(tǒng)人工田間調(diào)查存在效率低下、主觀性強、不能提供實時數(shù)據(jù)和成本高等問題，影響了西蘭花產(chǎn)業(yè)智能化發(fā)展。
當(dāng)前，計算機視覺技術(shù)被廣泛應(yīng)用于田間復(fù)雜環(huán)境下的果實提取和分析研究，以實現(xiàn)作物生長的動態(tài)監(jiān)控;而圖像分割作為計算機視覺技術(shù)的前提和關(guān)鍵，其精度的高低直接影響到后續(xù)工作的精度和效率。在自然環(huán)境下對目標(biāo)果實進(jìn)行準(zhǔn)確分割主要包括以下3類方法：(1)基于顏色空間變換和閾值分割方法。這類方法的核心思想是在RGB、Lab、HSV等顏色空間中尋找差異較大的通道并對其進(jìn)行閾值分割運算。夏永泉等[2]基于HIS顏色空間對葉片病斑進(jìn)行了提取;高理文和林小樺[3]利用顏色空間變換和最大類間方差法進(jìn)行全圖分割;董曉輝[4]提出了一種基于顏色空間變換的綠色植被快速分割方法，其精度可達(dá)到80%以上。但是，該類算法存在動態(tài)光照和土壤反射率條件下魯棒性不足等問題，難以對自然環(huán)境下景物實現(xiàn)有效分離。(2)基于淺層模型的機器學(xué)習(xí)方法。通過人工篩選并提取果實和背景部分的顏色、紋理、性狀等特征，生成可準(zhǔn)確區(qū)分二者的高階特征矩陣并對分類器進(jìn)行訓(xùn)練從而獲得分割模型。魏麗冉等[5]提出了一種基于核函數(shù)支持向量機的植物葉片病害多分類檢測模型;周俊等[6]根據(jù)K均值聚類算法和直推式支持向量機進(jìn)行訓(xùn)練，準(zhǔn)確獲取了農(nóng)田自然地塊中的各種綠色植物;李先鋒等[7]提出了一種基于特征優(yōu)化和最小二乘支持向量(Least Square Support Vector Regression Machine，LS-SVM)實現(xiàn)棉田雜草識別的方法，通過粒子群算法(Particle Swarm Optimization Algorithm，PSOA)對提取到的特征進(jìn)行優(yōu)化后輸入LS-SVM進(jìn)行訓(xùn)練以實現(xiàn)雜草識別，其試驗精度可達(dá)95%以上。然而，淺層模型在實際應(yīng)用中往往出現(xiàn)對目標(biāo)特征表達(dá)不完整、提取過程和檢測過程分離等情況，從而造成分割和識別性能下降。(3)基于深度學(xué)習(xí)模型的機器學(xué)習(xí)方法。深度學(xué)習(xí)由大數(shù)據(jù)集驅(qū)動，不需要設(shè)定具體的目標(biāo)特征即可進(jìn)行高維數(shù)據(jù)判別，具有強大的信息處理優(yōu)勢
[8]。Lee等[9]通過對AlexNet進(jìn)行微調(diào)，自動提取葉片特征以解決傳統(tǒng)方法依賴人工監(jiān)督導(dǎo)致模型偏差等問題，使用該網(wǎng)絡(luò)準(zhǔn)確率可達(dá)99.6%;Dyrmann等[10]利用含殘塊支路模塊的卷積神經(jīng)網(wǎng)絡(luò)模型(Convolutional Neural Networks，CNN)在一個包含有20多種作物及雜草的圖片數(shù)據(jù)集上進(jìn)行分類測試，精度達(dá)到了86.2%;Too等[11]對多種經(jīng)典網(wǎng)絡(luò)進(jìn)行參數(shù)微調(diào)后對PlantVillage數(shù)據(jù)集中的植物和病蟲害進(jìn)行識別，發(fā)現(xiàn)DenseNets-121在迭代次數(shù)增加時精度提升最為明顯，且所需參數(shù)數(shù)量最少;Fuentes等[12]將3種分類網(wǎng)絡(luò)Faster R-CNN，SSD和R-FCN與不同特征提取網(wǎng)絡(luò)(VGG和ResNet)相結(jié)合，提出了一種可以實時定位和識別番茄病蟲害種類的系統(tǒng);李淼等[13]、陳桂芬等[14]開展了基于CNN和遷移學(xué)習(xí)的農(nóng)作物病害識別方法研究。上述研究將深度學(xué)習(xí)模型應(yīng)用于田間表型信息獲取，但因光照、角度和相機規(guī)格難以統(tǒng)一等問題均缺乏移動平臺試驗;且前述研究大多面向大田作物，鮮有對西蘭花等作物進(jìn)行深度學(xué)習(xí)框架下表型信息提取的研究。
本研究結(jié)合機器視覺和深度學(xué)習(xí)技術(shù)，提出了一種西蘭花長勢信息的高通量獲取方法。首先，利用自主研發(fā)的地面平臺，獲取了西蘭花多個生育期的冠層正射影像;利用本研究提出的基于改進(jìn)的深度殘差網(wǎng)絡(luò)(ResNet)對標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí)建立快速、高通量的西蘭花球分割模型;并在該模型分割基礎(chǔ)上，利用PSOA技術(shù)和大津法(Otsu)對花球部位進(jìn)行二次分割，以實現(xiàn)花球新鮮度分析。試驗結(jié)果表明，與經(jīng)典ResNet和GoogleNet以及傳統(tǒng)基于顏色空間變換和閾值分割方法相比，本研究提出的方法精度較高且具有較強魯棒性，對未來田間西蘭花的表型分析具有一定的參考價值。
2 材料與方法
2.1 研究區(qū)域及試驗設(shè)計
研究區(qū)域與數(shù)據(jù)采集平臺設(shè)計如圖1所示。試驗所用西蘭花品種為“浙青452”“臺綠1號”和“臺綠2號”，花冠層圖像拍攝于浙江省嘉興市浙江省農(nóng)業(yè)科學(xué)院楊渡科研創(chuàng)新基地(北緯30°27′，東經(jīng)120°25′)。試驗小區(qū)為3個長寬分別為30m和20m的溫室大棚種植區(qū)，西蘭花株距約為30cm，所有田間管理均按照正常水平進(jìn)行，不設(shè)置養(yǎng)分及水分試驗對照組。用架設(shè)在田間移動平臺(FieldScan Pro)上的兩臺高速工業(yè)相機分別從左右兩個方向?qū)ξ魈m花花球進(jìn)行拍攝，拍攝焦距為5mm，鏡頭保持垂直向下距地面約0.8m。拍攝時間為2018年9月15日上午9點至下午4點之間。將兩部相機同步獲取的影像利用尺度不變特征變換(Scale-invariant Feature Transform，SIFT)算法進(jìn)行拼接，得到廣角照片以保證花球結(jié)構(gòu)信息的完整性。
2.2 試驗平臺研發(fā)
對西蘭花表型信息進(jìn)行提取除了需要對花球部位進(jìn)行準(zhǔn)確定位和分割，還應(yīng)該根據(jù)其頭部“黃—綠”顏色占比對新鮮度進(jìn)行估計。本研究采用由浙江省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)裝備研究所研發(fā)的FieldScan Pro試驗平臺采集模型訓(xùn)練所需彩色數(shù)碼圖片，試驗平臺由田間移動平臺和圖像采集系統(tǒng)兩部分組成。
2.2.1 田間移動平臺
FieldScan Pro包括輪式底座、3自由度支架和自動控制裝置。輪式底座采用中控設(shè)計，由后部搭載的鋰電池提供電能，在前后輪處分別裝有4個24V直流伺服電機，通過改變信號電壓控制其行駛和轉(zhuǎn)向;后輪處安裝有電渦流緩速器可以在行駛狀態(tài)下進(jìn)行輔助制動。3自由度支架為鋁合金材料的剛性裝置，可以在X、Y、Z向進(jìn)行任意位置調(diào)節(jié)固定，配合具有減震功能的相機支架可實現(xiàn)田間圖片的連續(xù)穩(wěn)定拍攝。自動控制裝置以可編程邏輯控制器(Programmable Logic Controller，PLC)為核心，共有Y0-Y4五路信號輸出：其中Y4端口與繼電器共同作用可以觸發(fā)工業(yè)相機快門實現(xiàn)自動、同步拍攝;Y0-Y3端口分別輸出兩路脈沖信號，控制拍攝支架進(jìn)行升降。
2.2.2 圖像采集系統(tǒng)
圖像采集系統(tǒng)由2臺高速工業(yè)相機及1臺高性能移動工作站組成。工業(yè)相機由德國BASLER公司研發(fā)，型號為MV-SUF1200M-T，采用1″CMOS傳感器，像素1200萬，幀率30.5 FPS，所有拍攝圖片格式存儲為JPEG。采集的圖像信號通過USB 3.0 Micro-B接口傳輸至工作站。工作站預(yù)裝有pylon 5相機軟件套件(由BASLER Inc.提供)，可對獲取的影像進(jìn)行實時查看以保證質(zhì)量。
2.3 試驗方法
本試驗中共獲取西蘭花花球圖像442張，其中“浙青452”花球圖像132張，“臺綠1號”花球圖像141張，“臺綠2號”花球圖像169張。首先，基于田間拍攝的西蘭花花球正射影像，通過人工篩選去除存在失焦、模糊等問題的照片，將剩余每個品種100張照片作為輸入數(shù)據(jù)建立原始影像集，訓(xùn)練集和測試集比例設(shè)為4：1，即訓(xùn)練集中包含240張圖片，測試集中包含60張圖片。經(jīng)過數(shù)據(jù)增廣和人工標(biāo)記等預(yù)處理手段，將原始數(shù)據(jù)轉(zhuǎn)化為適合模型訓(xùn)練的大小并提高訓(xùn)練結(jié)果的泛化能力
[15]。然后利用改進(jìn)的ResNet對模型進(jìn)行訓(xùn)練實現(xiàn)西蘭花花球分割，并進(jìn)一步對分割結(jié)果采用PSOA和Otsu算法進(jìn)行二次分割建立西蘭花新鮮度評估模型。技術(shù)路線如圖2所示。
2.3.1 圖像預(yù)處理
(1)數(shù)據(jù)增廣
基于CNN的圖像分割算法性能主要取決于訓(xùn)練數(shù)據(jù)集的規(guī)模、質(zhì)量和多樣性，即訓(xùn)練數(shù)據(jù)集可以覆蓋足夠多的實際場景或類似環(huán)境[13]。然而，要獲取足夠多不同條件下的西蘭花花球圖片需要消耗大量的人工成本和時間。為解決樣本稀缺造成的過擬合，提高訓(xùn)練網(wǎng)絡(luò)對對象差異的魯棒性，使用平移、縮放、旋轉(zhuǎn)、添加噪聲等數(shù)據(jù)增廣技術(shù)進(jìn)一步擴充數(shù)據(jù)集[16]。為提高模型訓(xùn)練效率、降低GPU內(nèi)存使用率[17]，通過Photoshop CS6 軟件將240張原始影像裁剪為500×500像素的子圖樣本(patch)，并對這些樣本進(jìn)行上下翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、加入椒鹽噪聲等增廣操作，最終得到2131幅樣本。
(2)人工標(biāo)記
對上述增廣結(jié)果通過人工篩選出顯示效果較好的2000幅樣本借助labellmg工具進(jìn)行樣本標(biāo)記，本研究中的數(shù)據(jù)集格式為POSCAL VOC2007。
2.3.2 基于改進(jìn)的ResNet的西蘭花花球分割模型
傳統(tǒng)卷積網(wǎng)絡(luò)在信息傳遞過程中會存在信息丟失和損耗，同時出現(xiàn)梯度消失或梯度爆炸，導(dǎo)致訓(xùn)練網(wǎng)絡(luò)的深度受到限制。為解決這一問題，微軟亞洲研究院的何凱明博士等[18]2015年提出ResNet，該模型可以在加快網(wǎng)絡(luò)訓(xùn)練速度的同時提升模型準(zhǔn)確率并保持較好的推廣性，其主要思想是通過在網(wǎng)絡(luò)中增加直連通道從而保留之前網(wǎng)絡(luò)層一定比例的輸出，使得原始輸入信息可以直接傳輸?shù)胶竺娴膶又小Ｈ欢?jīng)典ResNet卷積層的濾波器作用于局部，獲取特征圖相互獨立且權(quán)重相等[19]。實際上這些特征圖的重要程度并不相同，采用這一操作會影響訓(xùn)練結(jié)果的精度。通過添加Squeeze-and-Excitation(SE)模塊可以對特征按照其重要性進(jìn)行重新調(diào)整[20]，并用全局信息作為衡量單個特征重要性的標(biāo)準(zhǔn)。圖3為將SE模塊嵌入ResNet的示例，方框右下角維度信息代表本層輸出。使用全局池化(Global Average Pooling)進(jìn)行遍歷(Squeeze)操作[21]，然后用兩個全連接層Fully Connected(FC)[22]組成Bottleneck結(jié)構(gòu)[23]對通道間的相關(guān)性進(jìn)行建模的同時輸出與輸入特征相同數(shù)量的權(quán)重。先將特征維度降低到原來的1/16，再通過模型的ReLU激活函數(shù)[24]進(jìn)行激活輸入一個全連接層中返回原來的維度。最后通過Sigmoid函數(shù)進(jìn)行歸一化運算獲得0-1之間的權(quán)重數(shù)值，用Scale操作將該權(quán)重加權(quán)到每個特征圖上。由于像素二分類任務(wù)(分割)較為簡單，本研究設(shè)計了一個20層的ResNet，實心曲線為shortcut連接，虛線模塊C20、C21通過含有大小1×1、步幅為2的卷積核實現(xiàn)降維。模塊C1-C20的卷積核大小為3×3，C9和C16中卷積核步幅為2，其他模塊步幅為1。輸入圖像通過C1-C19，然后經(jīng)過一個全局平均層最后進(jìn)入softmax分類層得到其對應(yīng)標(biāo)簽。
遍歷待分割圖像的每一個像素點，提取以每一個像素點為中心的尺寸為18×18的方形圖像塊，將這些圖像塊輸入改進(jìn)的ResNet模型中，得到每一個像素的分類標(biāo)簽，再將其進(jìn)行重建即可得到最終的分割結(jié)果。
2.3.3 基于PSO-Otsu算法的花球新鮮度分析及分級標(biāo)準(zhǔn)
西蘭花頭部新鮮度的區(qū)分和篩選對評估收獲品質(zhì)、提升貿(mào)易價值有重要意義。通過機器視覺技術(shù)，可以從圖像中獲取西蘭花“黃—綠”顏色區(qū)域占比，并以此為依據(jù)對花球新鮮度進(jìn)行評價和分級。像素二分法中較為經(jīng)典的Otsu算法[25]的主要思想是計算背景和目標(biāo)區(qū)域的方差值
最大的灰度值被判定為最佳分割閾值。然而，Otsu算法在處理較為復(fù)雜和數(shù)量較多的圖像時需要遍歷所有灰度級來確定閾值，其計算量極大，難以滿足實時處理的要求。針對Otsu算法運算復(fù)雜、時間復(fù)雜度高等缺點，在傳統(tǒng)Otsu算法基礎(chǔ)上基于PSOA技術(shù)進(jìn)行最佳閾值搜索[26]：
(1)在一維平面上均勻投下N個粒子;
(2)計算每個粒子灰度值對應(yīng)的方差，獲取最大方差
(3)根據(jù)PSOA算法更新粒子的速度和位置，反復(fù)迭代實現(xiàn)閾值尋優(yōu);
(4)達(dá)到最大迭代次數(shù)后，將迭代中出現(xiàn)的最大方差
通過上述PSO-Otsu算法可以對分割出的西蘭花頭部實現(xiàn)二次分割，從而得到其中“黃—綠”像素占比情況作為新鮮度評價依據(jù)。李長纓等[27]根據(jù)西蘭花花球的視覺黃度對其新鮮度進(jìn)行了分級，具體分級標(biāo)準(zhǔn)如下：
等級0——肉眼無法檢測出黃色區(qū)域;
等級1——僅僅有1-3個花苞呈現(xiàn)黃色;
等級3——檢測出黃色區(qū)域面積小于5%;
等級5——黃色區(qū)域面積≤50%;
等級7——檢測出的黃色區(qū)域占比不超過75%;
等級9——花球所有部位均顯示黃色;
黃度計算如公式(1)所示。
(1)
上式中，Y表示花球黃度等級，Ym表示單個花球的黃度，Nm為該等級內(nèi)包含的花球總數(shù)，Yh為最高黃度等級，Na為參與分級的西蘭花花球總個數(shù)。然而在實際生產(chǎn)中不需要進(jìn)行如此精細(xì)的分級，因為當(dāng)黃色區(qū)域面積超過10%時西蘭花對消費者來說已經(jīng)不具有購買價值(視為不新鮮)。基于這種考慮，并參考[2]的劃分標(biāo)準(zhǔn)，本研究將西蘭花花球新鮮度分為5個等級，如表1所示。
4 總結(jié)和展望
本研究以西蘭花花球作為研究對象，提出了一種基于改進(jìn)ResNet的西蘭花長勢監(jiān)測方法。通過自主設(shè)計的影像獲取平臺得到的西蘭花冠層正射影像進(jìn)行分析，可以準(zhǔn)確提取西蘭花花球并對其新鮮度進(jìn)行判定。本研究主要貢獻(xiàn)如下。
(1)基于傳統(tǒng)ResNet架構(gòu)，設(shè)計了適合進(jìn)行西蘭花田間實時分析的改進(jìn)ResNet，通過加入SE模塊減少了網(wǎng)絡(luò)參數(shù)個數(shù)，達(dá)到平衡各特征圖之間的權(quán)重并加快了訓(xùn)練速度的目的。
(2)在現(xiàn)有西蘭花分級標(biāo)準(zhǔn)的基礎(chǔ)上，結(jié)合實際蔬菜貿(mào)易需求，提出了一種新的西蘭花新鮮度分級標(biāo)準(zhǔn)。以該標(biāo)準(zhǔn)為依據(jù)，利用基于粒子群模型改進(jìn)的Otsu算法實現(xiàn)了西蘭花球不同顏色區(qū)域面積比估算，將該比值與新的分級標(biāo)準(zhǔn)一一對應(yīng)，從而實現(xiàn)收獲前西蘭花品質(zhì)的判定并為自動采收提供技術(shù)支撐。
(3)與傳統(tǒng)ResNet、GoogleNet以及CIVE、ExG等基于顏色空間變換和閾值分割的方法相比，本研究提出的方法在各評價指標(biāo)上有了較大幅度的提升，可以有效克服傳統(tǒng)方法存在的訓(xùn)練效率低、魯棒性差等問題。
雖然本研究提出的方法在以上方面取得了一些進(jìn)展，但仍然存在模型復(fù)雜、硬件門檻高和訓(xùn)練數(shù)據(jù)量偏少等問題。在今后的研究中需要進(jìn)一步簡化網(wǎng)絡(luò)，并進(jìn)行大數(shù)據(jù)下的精度驗證;實現(xiàn)以相關(guān)結(jié)果為基礎(chǔ)開發(fā)便攜式終端產(chǎn)品，方便廣大農(nóng)戶使用。——論文作者：周成全 , 葉宏寶 , 俞國紅 , 胡俊 , 徐志福