Plant Phenomics | PSegNet：針對多品種作物點云的器官同步語義分割與實例分割深度學習網(wǎng)絡

植物表型學研究植物在生長過程中由遺傳基因和生長環(huán)境之間動態(tài)相互作用所形成的直觀植物指標。現(xiàn)代表型研究的主要路線是利用計算機數(shù)字化手段精確分析表型與基因型之間的關系，提高對復雜遺傳性狀的理解，進而加快基因育種、智慧農(nóng)業(yè)等方面的發(fā)展。相較于作物圖像，通過三維成像手段獲得的作物三維模型不僅包含有色彩和紋理信息，而且包含圖像中缺失的深度結(jié)構(gòu)信息。這在數(shù)據(jù)源頭即克服了視角限制導致的器官遮擋和重疊問題，是進行真正統(tǒng)計意義上的高精度表型測量的基礎。研究具有品種適應性的作物三維點云器官分割與表型方法不僅具有理論意義還蘊含著巨大的經(jīng)濟價值。

近日，Plant Phenomics在線發(fā)表了東華大學信息學院李大威課題組的題為PSegNet: simultaneous semantic and instance segmentation for point clouds of plants 的研究論文。

在獲取了可靠的三維點云數(shù)據(jù)后，對點云進行有效的器官分割就成為了三維植物表型分析的關鍵，如何有效分離莖與葉區(qū)域，以及進一步將冠層集合分割成單葉片實例并計算表型參數(shù)都是其中公認的難點。此外，如何基于當前流行的深度學習方法設計出同時適用于單子葉作物和雙子葉作物點云的適普分割方法也是較大的挑戰(zhàn)，這個挑戰(zhàn)存在于數(shù)據(jù)處理與整合、網(wǎng)絡模型設計、訓練參數(shù)的調(diào)諧等多個方面。

為了解決這些難題，本研究論文做出了如下貢獻：（1）提出了一種體素化最遠點降采樣策略（VFPS）對作物點云進行預處理（流程見圖1）。該策略綜合了體素化點云降采樣和最遠點采樣的優(yōu)勢，具有點數(shù)固定、空洞少、可擴增訓練樣本、可進一步提升深度學習網(wǎng)絡性能的特點；（2）人工標注了一個包含了三個品種共幾百株作物點云的數(shù)據(jù)集用于深度學習網(wǎng)絡的訓練，該數(shù)據(jù)集囊括了單子葉作物（高粱）和雙子葉作物（煙草、西紅柿），點云標簽包含器官語義標簽與葉片實例標簽；同時，借助體素化最遠點降采樣策略對該數(shù)據(jù)集進行了高達十倍的訓練數(shù)據(jù)擴增；（3）設計了一種適用于單子葉作物和雙子葉作物點云分割的雙功能網(wǎng)絡—PSegNet（見圖2）。該網(wǎng)絡可以同時實現(xiàn)莖干和葉片區(qū)域的語義分割以及單葉的實例分割，其主要結(jié)構(gòu)中包含了全新設計的雙鄰域特征提取塊（DNFEB），雙粒度特征融合模塊（DGFFM），注意力模塊（AM）等計算模塊；（4）不僅在作物點云上進行了訓練與測試，還在S3DIS這類大規(guī)模室內(nèi)場景點云數(shù)據(jù)集上驗證了PSegNet的有效性，證明了本文深度學習網(wǎng)絡具有強數(shù)據(jù)適應性和多行業(yè)應用潛力。
 

圖1 VFPS策略示意圖
 

圖2 PSegNet的體系結(jié)構(gòu)

實驗結(jié)果表明，提出的PSegNet在作物點云測試集上的器官語義分割任務中達到了95.23%的平均精確度、93.85%的平均召回率、94.52%的平均F1分數(shù)、以及89.90%的平均IOU；在葉片實例分割任務中達到了88.13%的平均精確度、79.28%的平均召回率、83.35%的mCov、以及89.54%的mWCov。PSegNet的結(jié)果明顯優(yōu)于PointNet++、ASIS、SGPN和PlantNet等當前流行的深度學習網(wǎng)絡。PSegNet在測試集作物點云上的語義分割定性展示（見圖3），實例分割定性結(jié)果（見圖4）。PSegNet在農(nóng)業(yè)領域之外的室內(nèi)場景點云數(shù)據(jù)集S3DIS上也展現(xiàn)出了較好的分割性能，其語義分割定性結(jié)果與真實值的對比可（見圖 5），本文網(wǎng)絡在多個房間中都達到了接近真實值的分割效果，證明其具備強數(shù)據(jù)適應性能力。
 

圖3 PSegNet語義分割的定性展示
 

圖4PSegNet實例分割的定性展示
 

圖5 在S3DIS區(qū)域5的四個不同房間內(nèi)演示PSegNet的語義分割結(jié)果

作者介紹：李大威，東華大學副教授，獲上海市啟明星人才計劃，上海市青年英才揚帆計劃。長期從事農(nóng)業(yè)自動化、植物表型、計算機視覺與人工智能方向的研究。

論文鏈接：

https://doi.org/10.34133/2022/9787643

——推薦閱讀——

Development and Validation of a Deep Learning Based Automated Minirhizotron Image Analysis Pipeline 

https://doi.org/10.34133/2022/9758532

Plant Phenomics | 基于深度學習的微根管圖像自動化分析方法

Simultaneous Prediction of Wheat Yield and Grain Protein Content Using Multitask Deep Learning from Time-Series Proximal Sensing

https://doi.org/10.34133/2022/9757948

Plant Phenomics | 基于近端多源時序數(shù)據(jù)和多任務深度學習同步預測小麥產(chǎn)量和品質(zhì)性狀

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內(nèi)不定期開展作者分享會、�？�發(fā)布會等高質(zhì)量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農(nóng)業(yè)大學和美國科學促進會（AAAS）合作創(chuàng)辦的英文學術期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學新應用，與植物表型相結(jié)合的分子生物學、植物生理學、統(tǒng)計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄。2021年中科院期刊分區(qū)表影響因子5.706，位于農(nóng)藝學、植物科學兩個小類一區(qū)，遙感小類二區(qū)，生物大類一區(qū)（Top期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準。

特邀作者：李大威

編輯：趙瑜涵（實習）

審核：孔敏、王平