Plant Phenomics | EasyDAM_V3：基于最優(yōu)源域選擇和知識(shí)圖數(shù)據(jù)合成的水果自動(dòng)標(biāo)注

隨著人工智能技術(shù)的發(fā)展,傳統(tǒng)農(nóng)業(yè)逐漸引入了人工智能技術(shù),以實(shí)現(xiàn)智能化信息化建設(shè)。深度學(xué)習(xí)在智能果園等領(lǐng)域具有廣闊的應(yīng)用前景。高性能的水果檢測(cè)技術(shù)可以和農(nóng)業(yè)機(jī)械設(shè)備有效結(jié)合,用于定位、分類(lèi)、預(yù)測(cè)產(chǎn)量等多個(gè)方面。但是,當(dāng)前深度學(xué)習(xí)模型需要大量帶標(biāo)注的數(shù)據(jù)集來(lái)訓(xùn)練,手工標(biāo)注非常耗時(shí)費(fèi)力。之前的EasyDAM系列研究工作使用生成對(duì)抗網(wǎng)絡(luò)生成模擬目標(biāo)域的水果圖像,以減少人工標(biāo)注數(shù)據(jù)集的工作量。但是,這些方法在源域數(shù)據(jù)集的選擇上存在主觀性,往往根據(jù)目標(biāo)域需求任意選擇。另外,這些方法仍需要人工標(biāo)注源域數(shù)據(jù)集。因此,自動(dòng)標(biāo)注方法的泛化能力有限,實(shí)際應(yīng)用中對(duì)不同場(chǎng)景的適應(yīng)性較差。如何選擇最優(yōu)的源域數(shù)據(jù)集以適應(yīng)不同目標(biāo)域,并完全消除人工標(biāo)注過(guò)程,是當(dāng)前的研究難點(diǎn)。
 

近日，Plant Phenomics在線(xiàn)發(fā)表了北京工業(yè)大學(xué)信息學(xué)部張文利教授團(tuán)隊(duì)與東京大學(xué)農(nóng)學(xué)部郭威副教授團(tuán)隊(duì)題為EasyDAM_V3: Automatic Fruit Labeling Based on Optimal Source Domain Selection and Data Synthesis via a Knowledge Graph 的研究成果。該研究提出了一種基于多維空間特征模型的最優(yōu)源域建立方法，用于選擇最合適的源域;通過(guò)構(gòu)建果園場(chǎng)景層次成分合成規(guī)則知識(shí)圖，提出了一種基于透明背景水果圖像平移的大容量數(shù)據(jù)集構(gòu)建方法。該研究為圖像轉(zhuǎn)換任務(wù)提供了源域數(shù)據(jù)集選擇的先驗(yàn)知識(shí),通過(guò)全自動(dòng)大容量標(biāo)注數(shù)據(jù)集構(gòu)建方法,實(shí)現(xiàn)了零標(biāo)注成本下的自動(dòng)標(biāo)注,可以推廣到更多農(nóng)作物目標(biāo)的檢測(cè)與識(shí)別任務(wù),降低數(shù)據(jù)采集和標(biāo)注的人工成本,提高模型泛化性。
 

該團(tuán)隊(duì)前期研究成果“EasyDAM_V2: Efficient Data Labeling Method for Multishape, Cross-Species Fruit Detection”研究形狀存在部分差異的不同類(lèi)別果實(shí)數(shù)據(jù)集標(biāo)簽數(shù)據(jù)的高精度轉(zhuǎn)換。本次工作重點(diǎn)是如何在創(chuàng)建與目標(biāo)域圖像具有高真實(shí)感和強(qiáng)相似性的合成數(shù)據(jù)集的同時(shí)避免人工標(biāo)注，使深度學(xué)習(xí)模型能夠提取更有效的目標(biāo)特征。
 

本研究提出了一種新的自動(dòng)水果標(biāo)注方法EasyDAM_V3。該方法的流程如圖1所示,方法創(chuàng)新主要包含三個(gè)模塊：

(a) 最優(yōu)源域選擇模塊：該模塊通過(guò)多維特征分析描述不同水果的形狀、顏色和紋理特征，構(gòu)建跨物種共性描述模型,選擇最優(yōu)的源域數(shù)據(jù)集，為圖像轉(zhuǎn)換模型提供先驗(yàn)知識(shí)（該模塊的流程如圖2所示）。

(b) 目標(biāo)域合成數(shù)據(jù)集構(gòu)建模塊：該模塊利用CycleGAN模型將源域的梨果圖像轉(zhuǎn)換為目標(biāo)域的柑橘、蘋(píng)果和番茄透明背景水果圖像(如圖3所示)，進(jìn)一步構(gòu)建含標(biāo)簽的合成目標(biāo)域數(shù)據(jù)集(如圖4所示)，自動(dòng)獲得標(biāo)注信息。

(c) 基于anchor-free檢測(cè)器的水果檢測(cè)模塊：使用在合成數(shù)據(jù)集上訓(xùn)練的檢測(cè)模型，結(jié)合偽標(biāo)簽自學(xué)習(xí)方法，迭代優(yōu)化目標(biāo)域水果圖像的標(biāo)注效果(如圖5所示)。
 

圖1 EasyDAM_V3總體流程圖。圖中有3個(gè)主要貢獻(xiàn)(如圖中黃色矩形部分所示):(a)在圖像生成模塊之前加入水果最優(yōu)源域選擇預(yù)處理算法，選擇最合適的源域數(shù)據(jù)集;(b)將圖像生成模塊輸出的水果圖像輸入目標(biāo)域合成數(shù)據(jù)集構(gòu)建模塊，采用自動(dòng)化方法合成模擬的目標(biāo)域圖像;(c)將模擬的目標(biāo)域圖像輸入到基于無(wú)錨檢測(cè)器的檢測(cè)模塊中，提取目標(biāo)水果和背景的特征。采用偽標(biāo)簽自學(xué)習(xí)方法進(jìn)一步提高了標(biāo)簽生成質(zhì)量。最后的輸出是實(shí)際目標(biāo)域場(chǎng)景所需的水果標(biāo)簽。
 

圖2多類(lèi)目標(biāo)域?qū)��?yīng)的果實(shí)生成最優(yōu)源域選擇方法流程圖
 

圖3利用CycleGAN模型生成目標(biāo)域水果圖像的可視化結(jié)果
 

圖4合成數(shù)據(jù)集圖像。(A)柑橘，(B)蘋(píng)果，(C)番茄的合成圖像
 

圖5視覺(jué)圖像效果的柑橘、蘋(píng)果、番茄標(biāo)簽生成。(A)柑橘園，(B)蘋(píng)果園，(C)番茄園

實(shí)驗(yàn)以梨果為源域,柑橘、蘋(píng)果和番茄為目標(biāo)域。結(jié)果表明，該方法可以實(shí)現(xiàn)自動(dòng)標(biāo)注不同目標(biāo)域水果圖像，目標(biāo)數(shù)據(jù)集的平均標(biāo)注精度分別達(dá)到90.94%、89.78%和90.84%(如表1所示)。EasyDAM_V3模型可以在自動(dòng)標(biāo)注任務(wù)中獲得最優(yōu)的源域，從而消除了人工標(biāo)注過(guò)程，降低了相關(guān)成本和人工。
 

表1 將EasyDAM_V3模型得到的最終標(biāo)簽生成結(jié)果與EasyDAM_V1模型進(jìn)行比較

論文鏈接：
‍https://doi.org/10.34133/plantphenomics.0067‍

——推薦閱讀——
Predicting and Visualizing Citrus Colour Transformation Using a Deep Mask-Guided Generative Network
‍https://spj.science.org/doi/10.34133/plantphenomics.0057
Plant Phenomics | 基于生成式深度學(xué)習(xí)網(wǎng)絡(luò)的柑橘表皮顏色可視化預(yù)測(cè)研究
Deep learning enables instant and versatile estimation of rice yield using ground-based RGB images
‍https://doi.org/10.34133/plantphenomics.0073‍
Plant Phenomics | 基于深度學(xué)習(xí)的地面RGB圖像即時(shí)與全方位水稻產(chǎn)量估計(jì)

加入作者交流群
掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開(kāi)展作者分享會(huì)、專(zhuān)刊發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線(xiàn)發(fā)行。采用開(kāi)放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類(lèi)一區(qū)（TOP期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
撰稿：許滸（南京農(nóng)業(yè)大學(xué)）
排版：蘇梓鈺（南京農(nóng)業(yè)大學(xué)）
審核：孔敏、王平