Studiu despre lucrarea "A CNN-RNN Framework for Crop Yield Prediction"

 

Blog

Arpad-Adrian Precup

A CNN-RNN Framework for Crop Yield Prediction

Saeed Khaki 1*, Lizhi Wang 1 and Sotirios V. Archontoulis 2

1. Industrial and Manufacturing Systems Engineering Department, 

   Iowa State University, Ames, IA, United States,

2. Department of Agronomy, Iowa State University, Ames, IA, United States

Introducere

Predicția randamentului agricol este o problemă foarte complexă, deoarece randamentul este afectat de o 

mulțime de factori precum: 

• Genotipul culturilor - îmbunătățit semnificativ de-a lungul anilor de către companiile 

  specializate pe dezvoltarea semințelor.

• Mediul înconjurător - impactează producția agricolă de la locație la locație (geografic) și de la 

  an la an (schimbări climatice).

• Practici de administrare - Cumpărarea și folosirea unei anumite cantități și tip de semințe etc.

Predicția cât mai precisă a randamentului producției agricole este benefică producției globale de hrană, 

aceasta ajutând la:

• Luarea decizilor în timpul util pentru importuri și exporturi.

• Luare unor decizii de administrare și financiare informate de către fermieri.

• Predicția performanței unor noi hibrizi în locații noi și/sau netestate.

Multe studii au folosit tehnici de machine learning precum regression tree, random forest, 

multivariate regression și artificial neural networks pentru a realiza această predicție. Printre acestea se 

amintesc:

• Jeong et al. (2016) - a aplicat random forest și multiple linear regression pentru predicția 

  producției de grâu, porumb și cartofi. Au descoperit că random forest este capabil de a realiza 

  această predicție și o face cu o mai mare acuratețe decât multiple linear regression.

• Liu et al. (2001) - a aplicat rețele neuronale artificiale pentru a aproxima o funcție neliniară care 

  să modeleze relația complexă dintre randamentul producției de porumb și factori precum vremea,

  solul și practicile agricole.

Lucrarea "A CNN-RNN Framework for Crop Yield Prediction" propune un model hibrid de deep learning 

pentru a prezice producția agricolă folosind rețele convoluționale (CNN) și rețele neuronale 

recurente (RNN) bazate pe un set de date format din date despre mediul înconjurător și practici de 

administrare. 

Rețelele convoluționale procesează datele cu ajutorul unor formate de vectori:

- cu o dimensiune pentru semnale și secvențe.

- bi-dimensionale pentru imagini.

- tri-dimensionale pentru video-uri.

Acestea sunt de obicei compuse din multiple layere de convoluție și pooling, urmate de câteva 

layere FC (fully connected).

Rețelele recurente neuronale sunt folosite pentru a captura dependințele de timp pentru date secvențiale. 

Acestea țin minte istoria tuturor elementelor anterioare dintr-o secvență în unitatea lor ascunsă, denumită 

state vector și folosesc această informație pentru procesarea rând pe rând a fiecărui element al secvenței 

de input. RNN-uri sunt modele extrem de puternice pentru modelare secvențială, dar antrenarea lor s-a 

dovedit a fi foarte provocatoare și greoaie din cauza problemelor de vanishing și exploding gradient. .

Mai recent, metode deep learning au fost folosite pentru predicția producției agricole în alte lucrări, 

spre exemplu Khaki and Wang (2019) au proiectat un model de rețea neuronală pentru a prezice randamenul 

producției de porumb în 2247 de locații între 2008 și 2016. Aceștia au demonstrat că modelul lor a 

depășit performața altor metode clasice precum Lasso, shallow neural networks și regression tree.

Date

Datele analizate în această lucrare includ patru seturi de date (nu s-au găsit date publice despre genotip 

pentru a completa aceste 4 seturi de date):

1. Randamentul producției - conține valorile medii observate ale producției de porumb și soia 

   între 1980 și 2018, acoperind 1.176 de comitate pentru porumb și 1.115 comitate pentru soia, în 

   13 state din zona Corn Belt: Indiana, Illinois, Iowa, Minnesota, Missouri, Nebraska, Kansas, 

   Dakota de Nord, Dakota de Sud, Ohio, Kentucky, Michigan și Wisconsin, unde porumbul și soia 

   sunt culturile dominante. Datele au fost obținute de la Serviciul Național de Statistică Agricolă din 

   Statele Unite (USDA-NASS, 2019).

2. Administrativ - conține procentul cumulativ săptămânal al terenurilor plantate din fiecare 

   stat, începând din luna aprilie a fiecărui an. Datele au fost obținute de la Serviciul Național de 

   Statistică Agricolă din Statele Unite (USDA-NASS, 2019).

3. Vreme -  înregistrările zilnice a șase variabile meteorologice: precipitații, radiație solară, 

   echivalentul apei din zăpadă, temperatura maximă, temperatura minimă și presiunea vaporilor. 

   Rezoluția spațială a acestor date a fost de 1 km². Datele au fost obținute de la Daymet 

   (Thornton et al., 2018).

4. Sol - Datele despre sol includ densitatea de masă umedă a solului, densitatea de masă 

   uscată a solului, procentajul de argilă, limita superioară a conținutului de apă disponibilă 

   plantelor, limita inferioară a conținutului de apă disponibilă plantelor, conductivitatea 

   hidraulică, procentajul de materie organică, pH-ul, procentajul de nisip și conținutul volumetric 

   de apă saturată, măsurate la adâncimi de 0–5, 5–10, 10–15, 15–30, 30–45, 45–60, 

   60–80, 80–100 și 100–120 cm. Patru variabile ale solului au fost înregistrate doar la 

   suprafața solului, care includ panta terenului în procente, indicele național de productivitate al 

   culturilor de marfă pentru porumb, indicele mediu național de productivitate al culturilor de 

   marfă pentru toate culturile și adâncimea zonei de rădăcini ale plantelor. Datele despre sol 

   au fost obținute din Gridded Soil Survey Geographic Database for the United States 

   (gSSURGO, 2019). Rezoluția spațială a datelor despre sol a fost de 1 km².

Autorii au selectat multiple sample-uri de date despre sol și vreme din fiecare comitat folosind metoda 

grid map și au luat media acestora pentru a obține sample-uri reprezentative pentru vreme și sol. 

Pentru unele locații lipseau 6.7% din valorile setului de date despre sol. Acestea au fost adăugate folosind 

media pentru aceleași variabile de sol din alte comitate. Din punctul de vedere al datelor administrative, 

pentru unele locații lipseau 6.3% din valori. Acestea au fost adăugate folosind media pentru aceleași 

valori din alte comitate în același an. S-au încercat și alte abordări de completare a datelor lipsă folosind, 

spre exemplu, alegerea valorii mediane sau alegerea celei mai frecvente valori, dar abordarea care folosește 

valoarea medie a dus la rezultatele cu cea mai mare acuratețe.

Datele despre vreme nu au avut nici o valoare lipsă, dar erau prea granulare fiind împărțite pe zile. 

Astfel s-a folosit media săptămânală, obținând o reducere de dimensiune de rație 365:52. Acestă 

prelucrare a datelor legate de vreme a redus substanțial și numărul de parametrii de antrenare al 

primului layer al modelului de rețea neuronală.

Metodologie

Modelul propus este un hibrid și combină CNN, layere complect conectate și RNN-uri.

W-CNN și S-CNN

Modelele au fost proiectate pentru a captura efectele lineare și non-lineare ale datelor despre vreme și sol. 

Modelul W-CNN folosește convoluție pe o singură dimensiune pentru a obține dependințele temporale ale datelor 

despre vreme, în timp ce S-CNN folosește one-dimensional convolution pentru a obține dependințele spațiale ale 

datelor despre sol măsurate la diferite adâncimi sub pământ. Astfel de modele similare au fost folosite în 

diferite domenii de aplicații și s-au dovedit a fi eficiente în acuratețea predicțiilor (Ince et al., 2016; 

Borovykh et al., 2017; Kiranyaz et al., 2019).

Layer FC

Un layer fully connected a fost folosit pentru a combina feature-urile high-level ale componentelor vremii și

condițiilor de sol extrase de W-CNN și S-CNN, care a redus de asemena dimensiunea output-ului modelelor CNN.

RNN

Modelul RNN a fost proiectat pentru a obține dependențele de timp ale randamentului producției agricole de-a 

lungul unui număr de ani. Folosirea acestui model a fost motivată de faptul că nu au fost disponibile date despre 

genotip, iar îmbunătățirea acestuia de-a lungul timpului a fost un factor seminificativ al creșterii randamentului 

producției de porumb și boabe de soia în ultimii 40 de ani. Astfel, efectul genotipului asupra randamentului 

de producție trebuie reflectat indirect în model folosind datele disponibile. Așadar, cercetătorii au dezvoltat 

un model special de RNN pentru a captura comportamentul dinamic temporal al randamentului de 

producție ca rezultat al îmbunătățirii genetice. Capacitatea RNN-ul a fost sporită prin folosirea de 

celule LSTM (long short term memory) care sunt neuroni recurenți folosiți pentru a capta dependența dintre 

input și timp.

Modelul RNN constă din k celule LSTM, care prezic randamentul producției agricole al unui comitat 

pentru anul t folosind informații din anii t-k până la t. Inputul celulelor include date despre producția 

medie (pentru toate comitatele în același an), datele administrative și output-ul layer-ului fully connected.

Proiectarea experimentelor

După încercarea mai multor metode de proiectare a rețelei, cea mai bună arhitectură s-a demonstrat a fi cea în care:

• Modelele W-CNN și S-CNN au ambele patru straturi convoluționale. S-a realizat 

  downsampling prin average pooling cu stride de 2. Output-ul din W-CNN este trecut 

  printr-un strat FC, care are 60 de neuroni pentru predicția randamentului de porumb și 

  40 pentru predicția randamentului de soia. Output-ul modelului S-CNN ajunge apoi într-un 

  layer FC care are 40 de neuroni.

• Layer-ul RNN are o durată de timp de 5 ani deoarece a fost considerat că dependența 

  randamentului este de 5 ani. Layer-ul are celule LSTM cu 64 de unități ascunse.

Toate ponderile au fost inițializate cu metoda Xavier (Glorot and Bengio, 2010). A fost folosit SGD 

(stochastic gradient decent) cu mini-batch size de 25. Modelul a fost antrenat pentru maxim 350.000 de iterații. 

Rectified linear unit (ReLU) este funcția de activare aleasă pentru CNNs și layer-ul FC. Layer-ul de output 

folosește o funcție liniară de activare. Modelul propus a fost implementat în Python folosind librăria Tensorflow,

 iar durata de antrenare a fost de aproximativ o oră pe un CPU (i7-4790, 3.6 GHz).

De asemenea, au mai fost implementate alte trei metode populare de predicție pentru a compara rezultatele: 

Random Forest, deep fully connected neural network (DFNN) și least absolute shrinkage and selection 

operator (LASSO).

Rezultate

Au fost aleși anii 2016, 2017, și 2018 ca ani de validare, pentru care s-a calculat predicția randamentului

producției de porumb și boabe de soia. Pentru fiecare an de validare, datele de antrenament au inclus date 

din 1980 până la anul anterior anului de validare. În următorul tabel putem observa o comparație de 

performanță între cele patru modele bazată pe RMSE (eroare pătratică medie).

Rezultatele sugerează că metoda hibridă a modelului CNN-RNN depăsește în mod semnificativ celelalte 

trei modele. Performanța slabă a LASSO este cauzată în principal de proprietatea liniară pe care o are, 

care nu poate captura efectele nonlineare are condițiilor solului și ale componentelor de vreme. DFNN 

a fost capabil să captureze efectele non-lineare are componentelor de mediu, acesta având o performanță 

mai bună comparativ cu performanța modelului RF, cu excepția predicției pentru randamentul de 

porumb din anul 2016.

Motivele pentru performanța remarcabilă a modelului CNN-RNN sunt: partea RNN a modelului 

care ia în considerare îmbunătățirile genetice ale semințelor, captând dependențele temporale 

anuale ale producției, partea W-CNN a modelului, care captează dependențele interne ale datelor 

meteorologice în timp, partea S-CNN a modelului a luat în considerare dependențele spațiale ale 

datelor de sol măsurate la diferite adâncimi subterane și modelul CNN-RNN a ținut cont de 

efectele neliniare ale componentelor de mediu.

Concluzie

În lucrarea “A CNN-RNN Framework for Crop Yield Prediction”, autorii au prezentat o metodă de 

predicție a randamentului producției agricole bazată pe deep learning, capabilă să prezică precis 

randamentul recoltelor de porumb și boabe de soia în regiunea Corn Belt din SUA.

Modelul propus, un hibrid între CNN și RNN, a depășit performanțele altor metode populare, cum ar 

fi LASSO, random forest și DFNN. Partea CNN a modelului a fost proiectată pentru a capta dependențele 

temporale din datele meteorologice și dependențele spațiale din datele de sol, în timp ce partea RNN 

a captat tendința de creștere a producției datorită îmbunătățirilor genetice și a practicilor de 

management. Modelul s-a dovedit eficient chiar și în medii netestate, sugerând aplicabilitatea sa 

în viitoarele predicții ale randamentului producției agricole.