農(nóng)田作業(yè)0人工全自動(dòng)，百度飛槳攜手蘇州博田助力農(nóng)業(yè)智能化

水稻是我國(guó)三大主糧之一。水稻田的田間管理復(fù)雜、重復(fù)度高（諸如打藥、鋤草等）且工作極其繁重，給從業(yè)人員造成了極大的負(fù)擔(dān)。蘇州博田利用百度飛槳(PaddlePaddle)的深度學(xué)習(xí)技術(shù)讓拖拉機(jī)和農(nóng)業(yè)機(jī)器人學(xué)會(huì)了視覺(jué)導(dǎo)航，可以根據(jù)水稻秧苗的種植情況實(shí)時(shí)調(diào)整航向，避免壓苗等情況出現(xiàn)，從而更好地保養(yǎng)和管理水稻秧苗。這一改進(jìn)，讓“節(jié)省人力的同時(shí)大幅提高農(nóng)作物產(chǎn)量”的夢(mèng)想成為了現(xiàn)實(shí)。

 

 

 

 

 

 

 

相關(guān)產(chǎn)品

PaddleSeg

合作伙伴簡(jiǎn)介

蘇州博田自動(dòng)化技術(shù)有限公司是一家專門從事農(nóng)業(yè)智能裝備技術(shù)研發(fā)與產(chǎn)業(yè)化的高新技術(shù)企業(yè)。公司秉承“科技創(chuàng)新、智能引領(lǐng)、眾創(chuàng)共享、機(jī)器助人”的發(fā)展理念，創(chuàng)造性的開(kāi)發(fā)出植保機(jī)器人、果蔬采摘機(jī)器人、鋤草機(jī)器人、設(shè)施農(nóng)業(yè)機(jī)器人、農(nóng)機(jī)智能管理系統(tǒng)、農(nóng)機(jī)輔助導(dǎo)航系統(tǒng)等智能農(nóng)機(jī)裝備，多項(xiàng)產(chǎn)品填補(bǔ)國(guó)內(nèi)空白，并在全國(guó)二十多個(gè)省市廣泛應(yīng)用。

業(yè)務(wù)挑戰(zhàn)

由于水稻是按列種植的，列與列之間近似平行，因此，實(shí)現(xiàn)農(nóng)機(jī)視覺(jué)自動(dòng)導(dǎo)航的基礎(chǔ)在于實(shí)時(shí)準(zhǔn)確地檢測(cè)出秧苗列中心線。雖然使用傳統(tǒng)圖像處理算法也能夠提取到秧苗列的中心線，但是自然光照下的水田為非結(jié)構(gòu)化環(huán)境，不同天氣不同時(shí)段圖像亮度的差異、水田里夾雜浮萍藍(lán)藻等與秧苗特征相似的植物、偶發(fā)缺苗和反光等干擾因素還是對(duì)傳統(tǒng)算法的魯棒性形成了很大的挑戰(zhàn)，精準(zhǔn)度難以保證。

水田環(huán)境如圖：

 

 

解決方案

為解決這一難題，蘇州博田技術(shù)人員綜合分析稻田圖像特點(diǎn)，基于百度飛槳(PaddlePaddle)深度學(xué)習(xí)平臺(tái)研發(fā)了水田導(dǎo)航線自動(dòng)檢測(cè)系統(tǒng)。他們應(yīng)用飛槳圖像分割開(kāi)發(fā)套件PaddleSeg中的ICNet模型將秧苗按列從背景中分割出來(lái)，并以此為基礎(chǔ)實(shí)現(xiàn)了秧苗列中心線的精準(zhǔn)提取。

第一階段：數(shù)據(jù)集制作

 

技術(shù)人員分別在一天內(nèi)不同時(shí)間段采集插秧1周后和插秧3周后兩個(gè)典型時(shí)期的水稻秧苗的圖片各400幅，并且在每個(gè)時(shí)段通過(guò)設(shè)置不同的曝光時(shí)間以采集不同亮度的圖片。

第二階段：模型選擇

農(nóng)機(jī)視覺(jué)導(dǎo)航任務(wù)與自動(dòng)駕駛有一定的相似性，都需要保證一定精度的情況下有高實(shí)時(shí)性，并且能夠在嵌入式設(shè)備等移動(dòng)端部署。飛槳PaddleSeg語(yǔ)義分割庫(kù)支持的主流語(yǔ)義分割網(wǎng)絡(luò)之一ICNet，屬于參數(shù)量較小的輕量級(jí)語(yǔ)義分割網(wǎng)絡(luò)，為自動(dòng)駕駛等需要低內(nèi)存和高實(shí)時(shí)性的應(yīng)用場(chǎng)景而設(shè)計(jì)，非常適合農(nóng)機(jī)視覺(jué)導(dǎo)航。與U-Net系列、DeepLab系列等預(yù)測(cè)精高的網(wǎng)絡(luò)相比，ICNet在精度降低較少的情況下大幅度減少了預(yù)測(cè)時(shí)間和占用內(nèi)存，能夠在像1024*2048像素這樣高分辨率的圖像上達(dá)到實(shí)時(shí)效果。

第三階段：模型訓(xùn)練

在模型訓(xùn)練過(guò)程中，可以通過(guò)修改相關(guān)配置文件自定義優(yōu)化器、迭代次數(shù)等訓(xùn)練使用的超參數(shù)，以及訓(xùn)練時(shí)圖像裁剪的尺寸等。此外，飛槳還加入了圖像增強(qiáng)模塊，可以通過(guò)修改配置文件決定是否采用圖像增強(qiáng)以及修改圖像增強(qiáng)的策略等，這樣在數(shù)據(jù)量不足的時(shí)候也能訓(xùn)練得到泛化能力強(qiáng)的網(wǎng)絡(luò)。模型輸入設(shè)為為640 x 512，配置完畢后即可調(diào)用訓(xùn)練腳本對(duì)模型進(jìn)行訓(xùn)練。

第四階段：最優(yōu)模型選取

訓(xùn)練網(wǎng)絡(luò)時(shí)，每5個(gè)epoch保存一次參數(shù)。采用飛槳的可視化工具VisualDL查看訓(xùn)練的損失值隨訓(xùn)練輪數(shù)的變化情況以及在驗(yàn)證集中的準(zhǔn)確率，選取在驗(yàn)證集上準(zhǔn)確率最高的模型，這樣可以防止過(guò)擬合。

VisualDL可視化圖：

第五階段：測(cè)試效果

利用PaddleSeg，蘇州博田農(nóng)業(yè)機(jī)器人已經(jīng)擁有排除干擾精確地將秧苗從背景中分割出來(lái)、提取外輪廓和原圖特征點(diǎn)、進(jìn)而準(zhǔn)確提取到中間4~5列秧苗中心線的能力，為實(shí)現(xiàn)農(nóng)機(jī)視覺(jué)導(dǎo)航打下了堅(jiān)實(shí)的基礎(chǔ)。自動(dòng)檢測(cè)系統(tǒng)配上GPS，蘇州博田農(nóng)業(yè)機(jī)器人已經(jīng)實(shí)現(xiàn)從出庫(kù)到入庫(kù)全程自動(dòng)導(dǎo)航的無(wú)人化作業(yè)，大大減少了人力物力的投入，為農(nóng)民的耕作效率、健康等提供了保障。

分割結(jié)果展示，從左至右為：圖像分割結(jié)果示意圖、原圖特征點(diǎn)提取示意圖、秧苗列中心線提取結(jié)果示意圖。

  

 

價(jià)值成果

基于飛槳平臺(tái)，蘇州博田技術(shù)人員實(shí)現(xiàn)了在復(fù)雜的水田環(huán)境中的視覺(jué)導(dǎo)航線提取，提取準(zhǔn)確率達(dá)到95％以上，處理每幀圖像耗費(fèi)的時(shí)間（包括ICNet網(wǎng)絡(luò)的分割預(yù)測(cè)時(shí)間和后續(xù)導(dǎo)航線提取的時(shí)間）達(dá)到300ms左右，效率滿足農(nóng)機(jī)作業(yè)環(huán)境下的速度要求，將農(nóng)民從重復(fù)、枯燥的勞動(dòng)中解放出來(lái)。最為顯著的提升是提取導(dǎo)航線精度的提升，使用PaddleSeg之前，蘇州博田試驗(yàn)過(guò)其它多種方法，但遇到特殊工況時(shí)精度均難以保證，使用基于PaddleSeg的導(dǎo)航線提取方法后，在試驗(yàn)圖像中的平均角度誤差從3.27°降低到了1.65°。在反光、缺株等情況下也基本不會(huì)出現(xiàn)角度誤差大于5°的情況。

博田的研發(fā)人員稱贊：“PaddleSeg語(yǔ)義分割庫(kù)使用簡(jiǎn)單，部署方便，功能豐富?？筛鶕?jù)實(shí)際需要以及試驗(yàn)結(jié)果選用不同的分割模型和配置參數(shù)，節(jié)省了很多因‘造輪子’而浪費(fèi)的時(shí)間。這不僅簡(jiǎn)化了我們的工作，還真正實(shí)現(xiàn)了技術(shù)上的革新。大大加快了農(nóng)機(jī)智能化發(fā)展的步伐。”

蘇州博田的此項(xiàng)應(yīng)用為自動(dòng)導(dǎo)航農(nóng)業(yè)機(jī)器人提供了精準(zhǔn)、高效、可靠的技術(shù)支持，讓農(nóng)機(jī)智能化、農(nóng)民職業(yè)化的偉大愿景邁出了重要的一大步，為我國(guó)精細(xì)農(nóng)業(yè)的推廣起到了促進(jìn)作用。下一步，蘇州博田還計(jì)劃在溫室環(huán)境下果蔬采摘、智能巡檢等設(shè)施農(nóng)業(yè)機(jī)器人方面應(yīng)用飛槳，希望未來(lái)可以讓更多的農(nóng)業(yè)從業(yè)者能實(shí)實(shí)在在地感受到智能農(nóng)業(yè)帶來(lái)的便利。