對水稻葉片病害進行跨模態(tài)檢索對于水稻預防防治至關(guān)重要，為農(nóng)業(yè)專家提供基于數(shù)據(jù)的決策支持，以應對疾病威脅，保障水稻生產(chǎn)刻不容緩。但當前水稻葉片病害跨模態(tài)檢索過程中存在幾個問題：（1）：復雜的背景和模糊的主體邊界在圖像處理領(lǐng)域中一直備受關(guān)注。這些因素往往會導致圖像的主體檢索變得模糊和困難。具體而言，復雜的背景可能包含大量干擾信息，使得從中準確提取出主體變得極具挑戰(zhàn)性。同時，模糊的主體邊界也會導致特征提取變得困難，甚至可能會導致錯誤的檢索結(jié)果；（2）：如何提升模型對于多樣文本的理解和關(guān)聯(lián)性建模成為了當前研究的關(guān)鍵問題之一。在圖像與文本的匹配過程中，一個顯著的挑戰(zhàn)在于文本語句的多樣性和種類的繁多性。這使得圖像與文本之間的關(guān)聯(lián)性變得相對較弱。換言之，由于文本的表達形式千差萬別，模型需要具備強大的語義理解能力以準確地將圖像與相應的文本進行匹配；（3）：學習率的優(yōu)化策略和訓練過程的監(jiān)控也是需要認真考慮和設(shè)計的關(guān)鍵因素。一個合適的學習率策略能夠有效地引導模型收斂于全局最優(yōu)解，從而提升訓練的效率與性能。另外，在訓練檢索模型時，我們也必須關(guān)注其訓練的收斂速度以及達到的精度水平。這直接關(guān)系到模型在實際應用中的可用性與性能表現(xiàn)。
 

2024年4月，Plant Phenomics在線發(fā)表了中南林業(yè)科技大學周國雄教授團隊題為A precise framework for rice leaf disease image-text retrieval using FHTW-Net 的研究論文。
 

圖1不同水稻葉片病害類別中圖文檢索問題的示例

為克服當前水稻葉片病害檢索框架的局限性和相關(guān)問題，我們專注于四種常見的水稻葉片病害，并建立了第一個跨模態(tài)水稻葉片病害檢索數(shù)據(jù)集（CRLDRD）。我們將跨模態(tài)檢索引入水稻葉片病害檢索領(lǐng)域，并提出了FHTW-Net，這是一個用于水稻葉片病害圖文檢索的框架。為了解決檢索過程中匹配不同圖像類別和復雜文本描述的挑戰(zhàn)，我們最初采用了ViT和BERT來提取富含上下文信息的細粒度圖像和文本特征序列。隨后，我們提出雙向混合自注意力（TMS）來增強圖像和文本特征序列，旨在揭示兩種模態(tài)中的重要語義信息。其次，我們提出假陰性消除-硬負樣本最小化（FNE-HNM）策略，以促進對不同模態(tài)之間的語義連接進行深入探索。這一策略有助于選擇具有挑戰(zhàn)性的負樣本進行消除，以約束模型在三元損失函數(shù)內(nèi)。最后，我們提出預熱蝙蝠優(yōu)化算法（WBA）進行學習率優(yōu)化，從而提高了模型的收斂速度和準確性。
 

圖2 提出的FHTW-Net模型及其基準模型FNE的網(wǎng)絡(luò)結(jié)構(gòu)圖

（1）為了減輕水稻病害對農(nóng)業(yè)生產(chǎn)的嚴重影響，我們針對四種常見且高致病性的水稻葉片病害，利用圖像和文字描述進行研究。我們創(chuàng)建了第一個CRLDRD數(shù)據(jù)集，并將跨模態(tài)檢索引入水稻葉片病害檢索領(lǐng)域，提出了名為FHTW-Net的框架。

（2）目標圖像中背景復雜或主體邊界不清晰可能導致圖文檢索中的歧義和檢索錯誤。為了進一步利用圖像和文本中的重要語義信息，我們提出TMS自注意力來增強圖像和文本中的細粒度特征序列，從而提高了模型的檢索準確性。

（3）檢索過程中的多樣性涉及到不同的文本句子和圖像形態(tài)，這給圖文間的跨模態(tài)檢索帶來了挑戰(zhàn)。我們深入研究了不同模態(tài)之間的語義關(guān)系，并提出了FNE-HNM策略，應用于三元損失函數(shù)中，以增強模型的檢索魯棒性和泛化能力。

（4）在模型訓練過程中，學習率優(yōu)化不足可能導致最終檢索階段的準確性降低和收斂速度緩慢。為了解決這一挑戰(zhàn)，我們提出WBA算法來優(yōu)化學習率，加快了模型的訓練收斂速度，提高了檢索準確性。

該研究由中南林業(yè)科技大學、國防科技大學、愛達荷大學、湖南省植物保護研究所合作完成。中南林業(yè)科技大學周宏亮為該文第一作者，周國雄教授為該文通訊作者。相關(guān)工作得到長沙市自然科學基金、國家自然科學基金等資助。

論文鏈接：

https://doi.org/10.34133/plantphenomics.01‍68

——推薦閱讀——

Dynamic UAV Phenotyping for Rice Disease Resistance Analysis Based on Multisource Data

https://doi.org/10.34133/plantphenomics.0019

Plant Phenomics | 基于多源數(shù)據(jù)的水稻抗病性動態(tài)無人機表型分析

PDDD-PreTrain: A Series of Commonly Used Pre-Trained Models Support Image-Based Plant Disease Diagnosis

https://doi.org/10.34133/plantphenomics.0054

Plant Phenomics | 貴州大學提出PDDD-PreTrain：一系列常用的預訓練模型支持基于圖像的植物病害診斷

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內(nèi)不定期開展作者分享會、�？�發(fā)布會等高質(zhì)量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

《植物表型組學》（Plant Phenomics）是由南京農(nóng)業(yè)大學和美國科學促進會（AAAS）合作創(chuàng)辦的英文學術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領(lǐng)域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學新應用，與植物表型相結(jié)合的分子生物學、植物生理學、統(tǒng)計學、作物模型和其他組學研究，表型組學相關(guān)的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農(nóng)藝學、植物科學、遙感一區(qū)。2023年中科院期刊分區(qū)位于農(nóng)林科學大類一區(qū)。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準。
特邀作者：周國雄
排版：趙慶澤（南京農(nóng)業(yè)大學）
審核：孔敏、王平