傳統(tǒng)的果樹(shù)種植行業(yè)在很大程度上依賴勞動(dòng)力的支持，具備強(qiáng)大感知和推理能力的智能農(nóng)業(yè)機(jī)器人被應(yīng)用于繁瑣重復(fù)的農(nóng)業(yè)生產(chǎn)工作，以解決勞動(dòng)力短缺等問(wèn)題。準(zhǔn)確的檢測(cè)和重建分支有助于收獲機(jī)器人的準(zhǔn)確性和植物表型信息的提取。然而，復(fù)雜的果園背景和藤蔓果樹(shù)扭曲生長(zhǎng)的樹(shù)枝使這一設(shè)計(jì)具有挑戰(zhàn)性。與傳統(tǒng)方法相比，深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)大特征提取和自主學(xué)習(xí)能力更能適應(yīng)復(fù)雜的背景。目前深度學(xué)習(xí)方法應(yīng)用于果樹(shù)的特征提取研究大多集中在杉木果樹(shù)上，并且目標(biāo)和背景之間存在明顯的對(duì)比，相對(duì)較簡(jiǎn)單。在早期階段，必須通過(guò)大量數(shù)據(jù)分析來(lái)獲得約束枝條重建的參數(shù)，并不會(huì)在生產(chǎn)實(shí)踐中帶來(lái)便利。
 

2023年9月，Plant Phenomics 在線發(fā)表了廣西師范大學(xué)教育部教育區(qū)塊鏈與智能技術(shù)重點(diǎn)實(shí)驗(yàn)室和上海農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息科學(xué)技術(shù)研究所等人合作完成的題為Detection and Reconstruction of Passion Fruit Branches via CNN and Bidirectional Sector Search 的文章。
 

為了解決這些問(wèn)題，本研究主要進(jìn)行了兩方面的研究：第一，本研究開(kāi)發(fā)了一種改進(jìn)的實(shí)例分割網(wǎng)絡(luò)，用規(guī)則形四邊形表示隨機(jī)生長(zhǎng)的分支，有效降低了檢測(cè)原始分支的復(fù)雜性，以在自然果園環(huán)境下準(zhǔn)確檢測(cè)和分割果樹(shù)的枝條。第二，本研究提出了一種基于雙向扇區(qū)搜索的分支重建算法，基于生長(zhǎng)姿態(tài)，對(duì)改進(jìn)模型得到的分段分支進(jìn)行自適應(yīng)重構(gòu)。需要注意的是，重構(gòu)算法中使用的扇區(qū)搜索策略在較長(zhǎng)的距離上具有更寬的搜索區(qū)域，這在一定程度上彌補(bǔ)了由于檢測(cè)模型的分支過(guò)度彎曲或遺漏檢測(cè)而導(dǎo)致的低重構(gòu)率。
 

圖1 圖像采集和標(biāo)注：(A)相機(jī)的位置和角度，捕獲圖像的(B)示例，以及分叉（上）和分段（下）分支的(C)標(biāo)簽

本研究采用Mask R-CNN卷積神經(jīng)網(wǎng)絡(luò)(Mask Region-based convolutional neural network，Mask R-CNN)架構(gòu)，結(jié)合可變形卷積對(duì)復(fù)雜背景下的分支進(jìn)行分割。基于生長(zhǎng)姿態(tài)，提出了一種雙向扇區(qū)搜索的分支重建算法，對(duì)改進(jìn)模型得到的分段分支進(jìn)行自適應(yīng)重建。改進(jìn)的Mask R-CNN模型用于百香果的枝檢測(cè)的平均準(zhǔn)確率、平均召回率和F1分?jǐn)?shù)分別為64.30%、76.51%和69.88%，在測(cè)試數(shù)據(jù)集上的平均運(yùn)行時(shí)間為0.75秒，優(yōu)于對(duì)比模型。該研究從測(cè)試數(shù)據(jù)集中隨機(jī)選擇40張圖像來(lái)評(píng)估分枝重建。分枝重建精度為88.83%，平均誤差為1.98px，重建直徑平均相對(duì)誤差為7.98 px，均交并比(Mean intersection-overunion ratio，mIOU)為83.44%。單幅圖像的平均重建時(shí)間為0.38秒，本研究所提出的方法可以為檢測(cè)和提取果樹(shù)枝條的表型參數(shù)，尤其是類葡萄果樹(shù)的枝條，可以為后續(xù)果樹(shù)枝條表型研究提供良好的基礎(chǔ)，并為智能農(nóng)業(yè)設(shè)備提供必要的技術(shù)支持。
 

圖2 改進(jìn)了3種陽(yáng)光條件下的Mask R-CNN檢測(cè)效果：(A)檢測(cè)早上采集的圖像的結(jié)果，(B)檢測(cè)中午采集的圖像的結(jié)果，(C)檢測(cè)下午采集的圖像的結(jié)果

本文的主要作者為鮑江川博士和陸聲鏈教授，所屬單位為廣西師范大學(xué)教育部教育區(qū)塊鏈與智能技術(shù)重點(diǎn)實(shí)驗(yàn)室和上海農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息科學(xué)技術(shù)研究所�；�金資助：國(guó)家自然科學(xué)基金項(xiàng)目（第61662006號(hào)），廣西農(nóng)業(yè)科技計(jì)劃項(xiàng)目（Z201915)，上�？萍嘉瘑T會(huì)計(jì)劃（編號(hào)：21N21900700）。

論文鏈接：

‍https://doi.org/10.34133/plantphenomics.0088

——推薦閱讀——

Phenotyping Key Fruit Quality Traits in Olive Using RGB Images and Back Propagation Neural Networks

https://doi.org/10.34133/plantphenomics.0061

Plant Phenomics | 利用RGB圖像和反向傳播神經(jīng)網(wǎng)絡(luò)對(duì)橄欖果實(shí)關(guān)鍵品質(zhì)性狀進(jìn)行表型分析

High-Throughput Field Plant Phenotyping: A Self-Supervised Sequential CNN Method to Segment Overlapping Plants

https://doi.org/10.34133/plantphen‍omics.0052

Plant Phenomics | 利用自監(jiān)督序列卷積神經(jīng)網(wǎng)絡(luò)（SS-CNN）分割田間重疊植株的高通量植物表型分析

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開(kāi)展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。
 

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開(kāi)放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
撰稿：吳庚宸（南京農(nóng)業(yè)大學(xué)）
排版：蘇梓鈺（南京農(nóng)業(yè)大學(xué)）
審核：孔敏、王平