5G-aktiverat realtidsinlärning inom hållbart jordbruk: En studie om sockerbetor

Vi är glada att kunna meddela att projektet “5G-nätverk som möjliggörare för realtidsinlärning inom hållbart jordbruk” har slutförts med framgång, vilket stöds av delvis finansiering från ministeriet för ekonomi, industri, klimatpolitik och energi i delstaten Nordrhein-Westfalen.

Detta initiativ representerar ett betydande steg framåt i att utforska den transformativa potentialen hos 5G-teknik inom jordbruket, särskilt inriktat på att förbättra de ekologiska, ekonomiska och hållbara aspekterna av sockerbetsodling.

Den utnyttjade 5G:s låga latens för att integrera avancerade informationsteknologisystem i realtid, vilket möjliggjorde omedelbara svar på sensor- och positionsdata inom fördefinierade tidsramar.

Projektfokus och partnerskap

I samarbete med partners på HSHL och med stöd av Pfeifer & Langen fokuserade projektet på att studera hela livscykeln för sockerbetsodling på partnernas åkrar. Syftet var att visa hur 5G skulle kunna fungera som en central teknikkatalysator inom Nordrhein-Westfalens jordbrukssektor och visa upp dess potential som en möjliggörare för innovation och effektivitet.

GeoPard-jordbrukets roll

GeoPard Agriculture spelade en avgörande roll i att definiera och implementera viktiga aspekter av projektet, inklusive scenarier för växtdetektering, övervakning och produktionsprognoser. Vi utvecklade ett prototyp-AI-system skräddarsytt för 5G-jordbruksmiljön, exekverade modeller inom en molninfrastruktur och skapade en mobilapplikation för realtidsinteraktion med molnbaserade modeller.

Teknologisk integration

Metoder för artificiell intelligens (AI) implementerades via en robust molninfrastruktur med hög beräkningskapacitet. AI-algoritmer kategoriserade växter i realtid under varje korsning och övervakade deras tillväxt under hela deras livscykel, vilket eliminerade behovet av onödiga fältbesök enbart för datainsamling.

Denna utveckling möjliggjorde exakt applicering av gödningsmedel och växtskyddsmedel, och justerade dynamiskt appliceringsmängderna under korsningar genom maskininlärningsalgoritmer.

Utplacering av obemannade fordon

Dessutom utnyttjade projektet den reducerade latensen hos 5G för att driftsätta obemannade fordon för övervakning av anläggningar och datainsamling. Dessa fordon spelade en avgörande roll för att samla in realtidsinsikter och ytterligare optimera jordbruksmetoder.

Projektresultat: Ökad sockerbetsproduktion med 5G-teknik

Projektet visade hur 5G-teknik skulle kunna fungera som en transformativ möjliggörare inom jordbrukssektorn i Nordrhein-Westfalen genom att analysera hela livscykeln för sockerbetsodling och lyfta fram betydande förbättringar som möjliggörs av 5G-tekniken. För att effektivt demonstrera projektets resultat har forskarna använt arbetspaket som innehåller olika scenarier och infrastrukturer.

Scenariodefinition med hänsyn till befintlig geodata- och ML-infrastruktur

Projektet visade hur traditionella processer inom sockerbetsproduktionens livscykel kunde förbättras genom integration av 5G-teknik. De viktigaste målen inkluderade:

• Utvecklade implementationsfärdiga scenarier för anläggningsidentifiering, övervakning och produktionsprognoser.
• Fastställda tekniska krav som är nödvändiga för en framgångsrik implementering av dessa scenarier.
• Identifierade och bedömde relevanta ekologiska och ekonomiska indikatorer för att utvärdera mervärdet som 5G-nätet medför.

Denna fas underströk projektets engagemang för att integrera banbrytande teknik med befintliga jordbruksmetoder. Denna arkitektur utnyttjade 5G-nätverkets höghastighetsanslutning för att underlätta insamling och bearbetning av data i realtid mellan edge-enheter och molnet. Molninfrastrukturen tillhandahöll viktiga resurser för utbildning och driftsättning av storskaliga AI-modeller, medan AI-plattformen erbjöd robusta verktyg för modellutveckling och driftsättning. Applikationslagret presenterade handlingsbara insikter från AI-modeller till slutanvändare, vilket förbättrade beslutsfattandekapaciteten.

Maskininlärning och AI i samband med 5G

Fokus för denna del var att anpassa befintliga maskininlärnings- och AI-system för att anpassa sig till de scenarier som beskrivs ovan, och optimera dem därefter. De viktigaste målen inkluderade:

• Definiera systemets mål och utveckla systemets arkitektur
• Insamlade markdata för träning och validering av AI-modeller.
• Etablerade och kommenterade en lämplig databas skräddarsydd för identifiering och övervakning av växter.
• Integrerade AI-modeller sömlöst i 5G-nätverkets infrastruktur.

I den här fasen spelade edge-enheter utrustade med mobiltelefon-SIM-kort som använde 5G-teknik en avgörande roll. Nyckeltal (KPI:er) som latens eller end-to-end (E2E) latens övervakades noggrant. Mätningarna inkluderade bedömning av tillförlitligheten och tillgängligheten för korrekt mottagna datapaket, tillsammans med analys av användardatahastigheter och toppdatahastigheter.

Vidare gjordes antaganden baserade på strömmande UHD-upplösningsvideo i MP4-format, överförd via Transmission Control Protocol (TCP). Potentiella lösningar som utforskades inkluderade optimering med enskilda bilder istället för kontinuerliga videoströmmar, utförande av basoptimeringar direkt på edge-enheter och implementering av modellkvantiseringstekniker för att förbättra effektiviteten.

Molninfrastruktur och AWS-tjänster

Projektet förlitade sig starkt på molninfrastruktur som utnyttjade AWS-tjänster som Lambda, SageMaker, S3, CloudWatch och RDS, vilka spelade en avgörande roll för att tillhandahålla de nödvändiga resurserna för utbildning och driftsättning av AI-modeller.

AWS Lambda användes för effektiv instanshantering och applikationsserver, medan AWS SageMaker underlättade konstruktionen av robusta maskininlärningspipelines. Lagringslösningar som S3, CloudWatch och RDS var viktiga för att lagra datamängder och loggar som är avgörande för driften av maskininlärningsmodeller och neurala nätverk.

Därför stödde denna infrastruktur de realtidsdatabehandlingsfunktioner som 5G-nätet möjliggör.

5G-nätverkslatens

5G-nätverk utformades för att uppnå ultralåg latens, vanligtvis mellan 1 och 10 millisekunder. Denna latens återspeglade den tid det tar för data att färdas mellan mobila enheter och AWS-servrar via 5G-nätverket. Enhetsspecifika bearbetningsfunktioner, såsom hastigheten för att ta och bearbeta foton på smartphones med högpresterande processorer, påverkade också latensen.

Datauppladdningshastigheterna i 5G-nätet och storleken på fotot påverkade dataöverföringstiderna till AWS. AWS bidrog ytterligare till latens med bearbetningstider för uppgifter som neurala nätverksbaserad detektering och segmentering, vilka varierade beroende på algoritmens komplexitet och AWS-tjänstens effektivitet. Efter bearbetning laddades resultaten ner tillbaka till mobila enheter, påverkade av nedladdningshastigheten för 5G och storleken på resultatdatan.

Växtigenkänning med hjälp av AI

Inom växtidentifiering involverade AI-drivna processer att skapa en omfattande databas med växtbilder för träningsalgoritmer baserade på neurala nätverk. Dessa algoritmer tränades för att skilja sockerbetsarter från andra växter genom att känna igen egenskaper som är specifika för den specifika växttypen, såsom bladformer, blomfärger etc.

Här menar vi med växtigenkänning uppgiften att upptäcka ogräs och segmentera sockerbetsplantor.

• Ogräsdetektering

För ogräsdetektering använde projektet MobileNet-v3, som tränades med omfattande datautökningar och viktad sampling. Denna modell uppnådde en imponerande noggrannhet på 0,984 och en AUC på 0,998.

• Sockerbetssegmentering

För segmenteringsuppgifter användes modeller som YOLACT, ResNeSt, SOLO och U-net för att exakt avgränsa individuella sockerbetsprover i bilder. Därefter valdes den mest effektiva modellen baserat på olika kriterier: hastighet, inferenstid etc. Data för segmentering hämtades från drönartagna RGB-bilder, vilka ändrades i storlek och kommenterades för tränings- och valideringsändamål.

Segmenteringsuppgifterna innebar att skapa masker som exakt avgränsade växtgränser. Denna metod minskade mänskliga annoteringsinsatser samtidigt som effektiviteten optimerades. Genom att prioritera märkning av utmanande prover förbättrades modellens prestanda avsevärt. Iterativ omskolning och osäkerhetsprovtagningsstrategier har visat sig effektiva och uppnått segmenteringsnoggrannhetsgrader som överstiger 98% över olika tillväxtstadier.

• Modellutvärdering

Modellen tränades med rigorösa datautökningar. Modellen utvärderades med hjälp av olika mätvärden, inklusive Intersection over Union (IoU). Inferensanalys för den byggda modellen, utförd på en delmängd från datasetet "plant seedlings v2", visade en noggrannhet på 81%. Inferenstiden tog cirka 320 millisekunder att beräkna efter en 7-sekunders initialiseringsperiod, vilket endast var nödvändigt en gång per session.

Vid växtövervakning med hjälp av artificiell intelligens (AI) samlade kameror och sensorer in viktig växtdata, som analyserades med hjälp av maskininlärning och AI-algoritmer. Denna analys spelade en avgörande roll för att bedöma växternas hälsa, identifiera stress, sjukdomar eller andra faktorer som påverkar tillväxten.

Tillämpningar sträckte sig från att optimera jordbruksproduktiviteten till att övervaka naturliga ekosystem som skogar, stödja bevarandeinsatser och öka förståelsen av miljöpåverkan.

Objektdetektering i anläggningsövervakning

Nästa fas efter segmentering av sockerbetsplantor är objektdetektering som syftar till att förstå varje plantas specifika egenskaper vad gäller hälsa, tillväxt och andra faktorer. För objektdetektering i växtövervakning användes avancerade modeller som YOLOv4, MobileNetV2 och VGG-19 med uppmärksamhetsmekanismer. Dessa modeller analyserade segmenterade bilder av sockerbetor för att upptäcka specifika stress- och sjukdomsområden, vilket möjliggjorde exakta och riktade interventioner.

Projektet uppnådde betydande milstolpar inom sjukdomsdetektering och träning av ResNet-18- och ResNet-34-modeller som förtränats på ImageNet. Dessa modeller visade en imponerande noggrannhet på 0,88 vid identifiering av sjukdomar som drabbar sockerbetsplantor, med en arean under ROC-kurvan (AUC) på 0,898. Modellerna uppvisade hög prediktionssäkerhet och kunde korrekt skilja mellan sjuka och friska plantor.

Projektet använde en systematisk metod för sjukdomsdetektering, där bilderna segmenterades i standardiserade områden. Dessa områden genomgick noggranna anteckningar med hjälp av interaktiva verktyg för att lokalisera områden som drabbats av sjukdomar. Objektdetektering förbättrade ytterligare noggrannheten genom att avgränsa växter, vilket underlättade exakt övervakning av växternas hälsa.

Förutsägelse av växtproduktion

Inom området för prognoser av växtproduktion utnyttjade AI-modeller miljödata som väderförhållanden och jordparametrar för att prognostisera grödor. Regressionsmodeller som Isolation Forest, Linear Regression och Ridge Regression användes.

Dessa modeller integrerade numeriska funktioner extraherade från avgränsande rutor tillsammans med jorddata för att optimera gödselmedelsapplikationen.

Att tänka på vid modelldistribution

Implementeringsstrategier för de utvecklade modellerna utvärderades för både edge-enheter och molnplattformar. Att distribuera modeller på edge-enheter erbjöd fördelar som minskade kostnader och lägre latens.

Denna metod kan dock kompromissa med potentiell noggrannhet på grund av hårdvarubegränsningar. Å andra sidan erbjöd molndistribution snabbare inferenstider med högpresterande GPU:er, men kunde medföra ytterligare kostnader och var beroende av internetanslutning, vilket kunde introducera kommunikationslatens.

Jämförande analys med 5G-nätverk

En jämförande analys visade att användningen av ett 5G-nätverk avsevärt förbättrade segmenteringen av sockerbetor jämfört med traditionella 4G/WiFi-uppställningar. Denna förbättring framgick av minskade genomsnittliga uppkopplings- och nätverkstider, vilket belyser de effektivitetsvinster som uppnåtts genom 5G-tekniken.

• Dataförberedelseprocess

Dataförberedelseprocessen innebar insamling av datamängder av friska och sjuka växter, detektering av ogräs, identifiering av tillväxtstadier och extrahering av bilder från 4K-råvideo. Tekniker som histogramutjämning, bildfiltrering och HSV-färgrymdstransformation användes för att förbereda data för analys.

Prover av friska sockerbetsblad och sjuka prover, såsom majsblad med gråbladsfläckar, samlades in. Extraktion av sjukdomsdrag innebar att bladet separerades från bakgrunden, ändrades storlek, omvandlades och sammanfogades för att skapa realistiska prover för analys.

• Aktiv inlärningsslinga

En aktiv inlärningsslinga initierades med omärkt data, som användes för att träna detekteringsmodeller. Dessa modeller genererade annoteringsfrågor som adresserades av mänskliga annotatörer, och kontinuerligt förfinade modellens noggrannhet genom iterativ träning och annoteringscykler.

• Dataannotering via multimodal grundmodell

För att hantera utmaningen med begränsad märkt data utnyttjade projektet robusta grundmodeller för att generera sanningsannoteringar. Framför allt spelade CLIP, en transformerbaserad modell utvecklad av OpenAI, tränad på en stor datamängd med över 400 miljoner bild-text-par, en avgörande roll.

Med hjälp av Vision Transformers som ryggrad uppnådde CLIP en anmärkningsvärd 95%-noggrannhet på valideringsuppsättningar, och kategoriserade effektivt bilder i distinkta klasser som sockerbetor och ogräs med hög precision.

• Drönarteknik för datainsamling

En av de viktigaste teknikerna som användes i projektet var användningen av drönare utrustade med RGB-kameror som spelade in 4K-video. Dessa drönare gav detaljerade bilder (3840×2160 upplösning) för analys.

Förbehandling av dessa bilder ökade modellens noggrannhet avsevärt, med märkbara förbättringar observerade i modeller som VGGNet (+38.52%), ResNet50 (+21.14%), DenseNet121 (+7.53%) och MobileNet (+6.6%).

Tekniker som histogramutjämning användes för att förbättra bildkontrasten, medan omvandling till HSV-färgrymd hjälpte till att betona växtområden och framhäva relevanta funktioner.

• Generering av syntetisk data

För att hantera utmaningen med begränsad bilddata genererades syntetiska datamängder via maskininlärning och AI. Datainsamlingen utfördes med hjälp av drönare som flög på höjder mellan 1 m och 4 m och hastigheter på 2 m/s eller mer, med hjälp av RGB-kameror.

Andra fordon, såsom traktorer, användes också för datainsamling. Denna syntetiska datagenerering visade sig vara särskilt fördelaktig för att upptäcka sjukdomar hos sockerbetor.

Slutsats

Projektet “5G-nätverk som möjliggörare för realtidsinlärning inom hållbart jordbruk” visade framgångsrikt hur 5G-teknik kan förbättra de ekologiska, ekonomiska och hållbara aspekterna av sockerbetsodling. Genom samarbete med HSHL och Pfeifer & Langen integrerade projektet datainsamling i realtid och AI-driven analys, vilket förbättrade effektiviteten och minskade onödiga fältbesök.

Ett dedikerat 5G-campusnätverk möjliggjorde exakta appliceringar av gödningsmedel och växtskyddsmedel. Geopard Agriculture spelade en avgörande roll i utvecklingen av scenarier för växtdetektering och övervakning, och i skapandet av ett prototypsystem för maskininlärning för 5G-jordbruksmiljön. Projektets framgång underströk vikten av avancerad teknik inom hållbart jordbruk och lyfte fram 5G:s potential att driva innovation och effektivitet.