Plant Phenomics | 基于知識(shí)蒸餾的輕量級(jí)植物病害檢測(cè)模型

 

植物疾病是導(dǎo)致農(nóng)作物產(chǎn)量降低的主要原因之一，常常在生長(zhǎng)過(guò)程中感染，而且當(dāng)疾病癥狀明顯時(shí)，治療機(jī)會(huì)常被錯(cuò)過(guò)。因此，及時(shí)進(jìn)行植物的病害診斷，可以有效地抑制病害的傳播，防止糧食產(chǎn)量大規(guī)模下降。到目前為止，植物病害的診斷面臨著兩個(gè)問(wèn)題：對(duì)于傳統(tǒng)的植物病害檢測(cè)方法，需要依賴專業(yè)人員進(jìn)行疾病診斷，適用性有限；基于數(shù)字圖像處理和傳統(tǒng)機(jī)器學(xué)習(xí)的植物疾病診斷方法又僅只限于對(duì)單一作物進(jìn)行病害診斷，并且現(xiàn)有的模型具有大量參數(shù)，不適合部署到農(nóng)業(yè)移動(dòng)設(shè)備上。同時(shí)，減少模型參數(shù)又會(huì)導(dǎo)致模型準(zhǔn)確性的下降。因此，如何找到一個(gè)輕量高效、適用性廣泛的自動(dòng)化植物病害診斷模型成為了當(dāng)下研究熱點(diǎn)。
 

2023年6月，Plant Phenomics在線發(fā)表了貴州大學(xué)公共大數(shù)據(jù)國(guó)家重點(diǎn)實(shí)驗(yàn)室王崎教授、郝格非教授團(tuán)隊(duì)題為 Knowledge Distillation Facilitates the Lightweight and Efficient Plant Diseases Detection Mode 的研究論文。
 

近日，貴州大學(xué)公共大數(shù)據(jù)國(guó)家重點(diǎn)實(shí)驗(yàn)室王崎教授、郝格非教授團(tuán)隊(duì)提出了一種基于知識(shí)蒸餾的方法，通過(guò)將教師模型（YOLOR模型）的知識(shí)傳遞給多個(gè)輕量級(jí)學(xué)生模型（YOLOR-Light-v1、YOLOR-Light-v2、Mobile-YOLOR-v1、Mobile-YOLOR-v2），來(lái)改善輕量模型的性能。采用多階段知識(shí)蒸餾方法，在保持小模型參數(shù)的同時(shí)，實(shí)現(xiàn)了在PlantDoc數(shù)據(jù)集（https://arxiv.org/abs/1911.10317）上達(dá)到60.4%的mAP@ .5的性能，超過(guò)了現(xiàn)有的方法。

本研究比較了4個(gè)植物病害數(shù)據(jù)集，并引入了2個(gè)通用的圖像目標(biāo)檢測(cè)數(shù)據(jù)集作為參考。如表1所示，PlantVillage數(shù)據(jù)集具有過(guò)于簡(jiǎn)單的圖像背景，并且不提供對(duì)象檢測(cè)注釋。PlantDoc數(shù)據(jù)集（https://arxiv.org/abs/1911.10317）是一個(gè)公共可用的數(shù)據(jù)集，可以應(yīng)用于分類和檢測(cè)任務(wù)，如圖1所示。
 

表1 植物病害診斷和圖像目標(biāo)檢測(cè)之間的數(shù)據(jù)集比較。
 

圖1 PlantDoc數(shù)據(jù)集上每個(gè)類別的圖像和邊界框的數(shù)量。
 

多階段知識(shí)蒸餾（MSKD）模型的框架如圖2所示：

1）教師模型和學(xué)生模型都是以圖像作為植物病害檢測(cè)的輸入。

2）Head Stage蒸餾器：教師模型通過(guò)將知識(shí)提煉到學(xué)生模型的backbone和neck部分來(lái)指導(dǎo)學(xué)生模型的訓(xùn)練。Head Stage Distiller 提供整個(gè)學(xué)生模型的反饋，幫助其提高整體性能。

3）蒸餾模塊（DM）：DM 在指導(dǎo)學(xué)生模型的學(xué)習(xí)中起著至關(guān)重要的作用。它使用三個(gè)損失函數(shù)來(lái)比較與圖像相關(guān)的標(biāo)簽和學(xué)生模型生成的多級(jí)特征。這些損失函數(shù)幫助學(xué)生模型完善其預(yù)測(cè)并將其與教師的預(yù)測(cè)保持一致。

4）反饋循環(huán)：DM 和頭級(jí)蒸餾器負(fù)責(zé)在訓(xùn)練期間向?qū)W生模型提供反饋。這種反饋循環(huán)確保學(xué)生模型不斷提高其性能并與教師模型的知識(shí)保持一致。
 

圖2 多級(jí)蒸餾（MSKD）模型框架。

圖3展示了植物病害檢測(cè)中教師和學(xué)生模型采用的模型輕量級(jí)策略。子圖 (A)說(shuō)明了教師模型中使用的“原始?jí)K”的實(shí)例，它展示了用于特征提取的構(gòu)建塊。子圖(C)呈現(xiàn)了教師模型的整體“原始架構(gòu)”，它由原始?jí)K的 N₃ 個(gè)實(shí)例組成，負(fù)責(zé)從輸入數(shù)據(jù)中提取特征。子圖 (B)顯示了通過(guò)簡(jiǎn)化原始?jí)K得到的有效塊。子圖 (D)顯示了具有M₃（M₃
 

圖2示范模型輕量級(jí)戰(zhàn)略。
 

表5 植物病害診斷模型在PlantDoc數(shù)據(jù)集上的定性結(jié)果。（↑表明越高越好。↓表明越低越好）

（更加詳細(xì)的數(shù)據(jù)對(duì)比請(qǐng)看原文） 通過(guò)多次實(shí)驗(yàn)對(duì)比及實(shí)驗(yàn)數(shù)據(jù)研究表明：

1）提出的學(xué)生模型在參數(shù)數(shù)量（Paras）、GFLOPs和內(nèi)存使用方面優(yōu)于這些圖像對(duì)象檢測(cè)方法，甚至某些指標(biāo)遠(yuǎn)遠(yuǎn)優(yōu)于它們，除了YOLOv6s。

2）在mAP@ .5方面，提出的模型的性能與最新的圖像對(duì)象檢測(cè)方法相差不大，但遠(yuǎn)好于傳統(tǒng)方法。

3）與YOLOv6l相比，提出的YOLOR-Light-v2 (Distilled)模型只高出1.5%的mAP@ .5，但計(jì)算成本明顯降低。

這些實(shí)驗(yàn)結(jié)果表明，提出的輕量級(jí)學(xué)生模型在性能和資源消耗方面具有優(yōu)勢(shì)，能夠以較低的計(jì)算資源獲得與最新的圖像對(duì)象檢測(cè)方法相媲美的性能。此外，使用多任務(wù)知識(shí)蒸餾模塊（MKDM）的模型在mAP@ .5方面表現(xiàn)明顯優(yōu)于沒有使用MKDM的模型，表明MKDM能夠提供額外的有效約束，提高了性能。
 

這些結(jié)果強(qiáng)調(diào)了輕量級(jí)對(duì)象檢測(cè)方法在植物疾病診斷和農(nóng)業(yè)生產(chǎn)中的潛在應(yīng)用，尤其是在需要高效、準(zhǔn)確且輕量級(jí)的模型的情況下，例如農(nóng)業(yè)生產(chǎn)中使用的無(wú)人機(jī)。輕量級(jí)模型能夠在保持性能的同時(shí)降低計(jì)算成本，推動(dòng)了對(duì)象檢測(cè)技術(shù)在農(nóng)業(yè)生產(chǎn)和研究中的發(fā)展。

代碼可在https://github.com/QDH/MSKD獲得

作者介紹

論文第一作者為貴州大學(xué)公共大數(shù)據(jù)國(guó)家重點(diǎn)實(shí)驗(yàn)室本科生黃前頂、博士研究生吳興財(cái)，碩士研究生董新宇等；論文通訊作者為特聘教授王崎，郝格非教授，合作者包括秦永彬教授。

王崎：公共大數(shù)據(jù)國(guó)家重點(diǎn)實(shí)驗(yàn)室科研團(tuán)隊(duì)成員，主要研究領(lǐng)域：多模態(tài)數(shù)據(jù)融合分析，圖像文本分析，大數(shù)據(jù)分析，計(jì)算機(jī)視覺，農(nóng)業(yè)病理圖像識(shí)別。在工程應(yīng)用方面，致力于利用視覺文本技術(shù)解決智慧農(nóng)業(yè)中的植物病害問(wèn)題。有意者請(qǐng)聯(lián)系：qiwang@gzu.edu.cn

論文鏈接：

https://spj.science.org/doi/10.34133/plantphenomics.0062

——推薦閱讀——

To what extent does yellow rust infestation affect remotely sensed nitrogen status?

https://spj.science.org/doi/10.34133/plantphenomics.0083

Plant Phenomics | 葉片病害壓力在多大程度上影響遙感氮狀況？以條銹病為例研究

An effective image-based tomato leaf disease segmentation method using MC-UNethttps://doi.org/10.34133/plantphenomics.0049

Plant Phenomics | 基于自制番茄葉片病害的圖像分割方法研究

 

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。
 

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄�？祁Ｎò睯CR2021影響因子為6.961，位于農(nóng)藝學(xué)、植物科學(xué)，遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
撰稿人：靳松
編輯：趙倩瑩（實(shí)習(xí)）
審核：孔敏、王平