Plant Phenomics | 基于A(yíng)S-SwinT疏果前單串葡萄果粒的實(shí)例分割與計(jì)數(shù)

疏果是鮮食葡萄生產(chǎn)管理中提高產(chǎn)量和質(zhì)量的重要生產(chǎn)環(huán)節(jié)。隨著人口老齡化的嚴(yán)重，大型葡萄園疏果亟需設(shè)計(jì)一種疏果機(jī)械代替人工實(shí)現(xiàn)重復(fù)而繁瑣的疏果。作為葡萄疏果機(jī)械中的重要組成部分，機(jī)器視覺(jué)系統(tǒng)能夠統(tǒng)計(jì)單串葡萄果粒數(shù)量并定位需要去除的果粒。隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的葡萄果粒檢測(cè)為葡萄疏果提供了技術(shù)支撐。但由于疏果期的葡萄果粒目標(biāo)較小，相互之間存在密集遮擋，極大地限制了單串葡萄果粒的計(jì)數(shù)。為了應(yīng)對(duì)單串葡萄果粒計(jì)數(shù)面臨地挑戰(zhàn)，為葡萄疏果檢測(cè)提供決策依據(jù)，該研究基于A(yíng)S-SwinT模型（圖1）對(duì)單串葡萄果粒實(shí)例分割，并采用線(xiàn)性回歸模型建立實(shí)際果粒與預(yù)測(cè)果粒之間的關(guān)系，進(jìn)一步提高單串葡萄果粒計(jì)數(shù)精度。

2023年8月，Plant Phenomics在線(xiàn)發(fā)表了山東農(nóng)業(yè)大學(xué)劉平教授團(tuán)隊(duì)題為Instance Segmentation and Berry Counting of Table Grape before Thinning Based on AS-SwinT 的研究論文。

AS-SwinT以Swin Transformer做為骨干網(wǎng)絡(luò)，提取葡萄果粒的豐富特征。在頸部網(wǎng)絡(luò)中引入自適應(yīng)特征融合ASFF，以充分保留底層特征，提高小果粒的檢測(cè)能力。統(tǒng)計(jì)分析每個(gè)果粒的大小，優(yōu)化錨框尺寸以提高葡萄果粒的定位精度，使用Soft-NMS過(guò)濾候選框，減少密集遮擋果粒的漏檢，進(jìn)而提高葡萄串中葡萄果粒的檢測(cè)精度。
 

圖1  AS-SwinT網(wǎng)絡(luò)結(jié)構(gòu)。

該研究分析了不同模塊對(duì)AS-SwinT的分割精度與檢測(cè)精度的影響，研究了不同骨干網(wǎng)絡(luò)對(duì)該模型的實(shí)例分割效果的影響，確定了最佳檢測(cè)模型。對(duì)比了4種實(shí)例分割模型（AS-SwinT、Mask R-CNN、Mask Scoring R-CNN和Cascade Mask R-CNN）在兩種數(shù)據(jù)集（自然背景數(shù)據(jù)集與人工背景數(shù)據(jù)集）下的檢測(cè)與分割精度，顯示了該模型的優(yōu)勢(shì)。并將在人工數(shù)據(jù)集下訓(xùn)練的權(quán)重作為自然數(shù)據(jù)集訓(xùn)練權(quán)重進(jìn)行遷移學(xué)習(xí)，實(shí)驗(yàn)可知，AS-SwinT在遷移學(xué)習(xí)下可以達(dá)到65.7APᵇᵒᕽ，95.0AP₀.₅ᵇᵒᕽ，57.0APₛᵇᵒᕽ，62.8APᵐᵃˢᵏ，94.3AP₀.₅ᵐᵃˢᵏ，48APₛᵐᵃˢᵏ，明顯優(yōu)于Mask R-CNN、Mask Scoring R-CNN和Cascade Mask R-CNN。在該模型的果粒計(jì)數(shù)與真實(shí)計(jì)數(shù)的誤差方面（圖2），該模型的RMSE和R2分別為7.13和0.95，其線(xiàn)性回歸結(jié)果與人工背景下的模型訓(xùn)練數(shù)據(jù)集的結(jié)果相當(dāng)。因此，該模型對(duì)自然環(huán)境中的單串葡萄果粒的實(shí)例分割具有較強(qiáng)的魯棒性。
 

圖2 自然背景下不同模型的線(xiàn)性回歸對(duì)比。（A）Mask R-CNN （B）Mask Scoring R-CNN （C）Cascade Mask R-CNN （D）AS-SwinT

山東農(nóng)業(yè)大學(xué)劉平教授為通訊作者，研究方向?yàn)樽魑锉硇徒馕龊椭腔坜r(nóng)機(jī)裝備關(guān)鍵技術(shù)。山東農(nóng)業(yè)大學(xué)博士研究生杜文圣為第一作者，該論文獲得山東省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目的資助。

論文鏈接：

https://spj.science.org/doi/10.34133/plantphenomics.0‍085

——推薦閱讀——

Prediction of the Maturity of Greenhouse Grapes Based on Imaging Technology

https://doi.org/10.34133/2022/9753427

Plant Phenomics | 基于表型圖像信息與反向神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)溫室葡萄成熟度

Global Wheat Head Detection Challenges: Winning Models and Application for Head Counting

https://doi.org/10.34133/plantphenomics.0059

Plant Phenomics | 全球小麥穗檢測(cè)挑戰(zhàn):獲勝模型及其在穗計(jì)數(shù)中的應(yīng)用

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開(kāi)展作者分享會(huì)、專(zhuān)刊發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線(xiàn)發(fā)行。采用開(kāi)放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀(guān)點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類(lèi)一區(qū)（TOP期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。

撰稿：杜文圣（山東農(nóng)業(yè)大學(xué)）

排版：趙倩瑩（南京農(nóng)業(yè)大學(xué)）

審核：孔敏、王平