5G-gestütztes Echtzeitlernen in der nachhaltigen Landwirtschaft: Eine Studie zur Zuckerrübe

Wir freuen uns, den erfolgreichen Abschluss des Projekts “5G-Netzwerke als Wegbereiter für Echtzeitlernen in der nachhaltigen Landwirtschaft” bekannt zu geben, das mit Teilfördermitteln des Ministeriums für Wirtschaft, Industrie, Klimaschutz und Energie des Landes Nordrhein-Westfalen unterstützt wurde.

Diese Initiative stellt einen bedeutenden Schritt vorwärts bei der Erforschung des transformativen Potenzials der 5G-Technologie in der Landwirtschaft dar, mit dem spezifischen Ziel, die ökologischen, wirtschaftlichen und nachhaltigen Aspekte des Zuckerrübenanbaus zu verbessern.

Es nutzte die geringe Latenz von 5G, um fortschrittliche Informationstechnologiesysteme in Echtzeit zu integrieren und so unmittelbare Reaktionen auf Sensor- und Positionsdaten innerhalb vordefinierter Zeitrahmen zu ermöglichen.

Projektfokus und Partnerschaft

In Zusammenarbeit mit Partnern der HSHL und mit Unterstützung von Pfeifer & Langen konzentrierte sich das Projekt auf die Untersuchung des gesamten Lebenszyklus des Zuckerrübenanbaus auf Feldern der Partner. Ziel war es zu demonstrieren, wie 5G als entscheidender technologischer Katalysator im Agrarsektor Nordrhein-Westfalens dienen könnte, und sein Potenzial als Wegbereiter für Innovation und Effizienz aufzuzeigen.

Rolle von GeoPard Agriculture

GeoPard Agriculture spielte eine entscheidende Rolle bei der Definition und Implementierung wichtiger Projektaspekte, einschließlich Szenarien für Pflanzenerkennung, Überwachung und Produktionsvorhersage. Wir entwickelten einen Prototyp eines KI-Systems, das für die landwirtschaftliche 5G-Umgebung maßgeschneidert ist, führten Modelle innerhalb einer Cloud-Infrastruktur aus und erstellten eine mobile Anwendung für die Echtzeitinteraktion mit Cloud-basierten Modellen.

Technologische Integration

Künstliche Intelligenz (KI)-Methoden wurden über eine robuste Cloud-Infrastruktur mit hohen Rechenkapazitäten eingesetzt. KI-Algorithmen kategorisierten Pflanzen in Echtzeit während jeder Kreuzung und überwachten ihr Wachstum über ihren gesamten Lebenszyklus, wodurch unnötige Feldgänge nur zu Datenerfassungszwecken überflüssig wurden.

Dieser Fortschritt ermöglichte die präzise Ausbringung von Dünger und Pflanzenschutzmitteln, wobei die Ausbringungsmengen während der Überfahrten mithilfe von Algorithmen des maschinellen Lernens dynamisch angepasst wurden.

Einsatz von unbemannten Fahrzeugen

Darüber hinaus nutzte das Projekt die reduzierte Latenz von 5G zur Bereitstellung von unbemannten Fahrzeugen für die Pflanzenüberwachung und Datenerfassung. Diese Fahrzeuge spielten eine entscheidende Rolle bei der Sammlung von Echtzeit-Erkenntnissen und der weiteren Optimierung landwirtschaftlicher Praktiken.

Projektergebnisse: Verbesserung des Zuckerrübenanbaus mit 5G-Technologie

Das Projekt demonstrierte, wie die 5G-Technologie als transformativer Wegbereiter im Agrarsektor Nordrhein-Westfalens dienen könnte, indem es den gesamten Lebenszyklus des Zuckerrübenanbaus analysierte und damit erhebliche Verbesserungen durch die 5G-Technologie aufzeigte. Um die Projektergebnisse effizient zu demonstrieren, haben die Forscher jedoch Arbeitspakete mit verschiedenen Szenarien und Infrastrukturen verwendet.

Szenariendefinition unter Berücksichtigung vorhandener Geodaten und ML-Infrastruktur

Das Projekt zeigte, wie traditionelle Prozesse im Lebenszyklus der Zuckerrübenproduktion durch die Integration von 5G-Technologie verbessert werden können. Wichtige Ziele waren:

• Entwickelte einsatzbereite Szenarien für Pflanzen-Erkennung, -Überwachung und Produktionsvorhersage.
• Festgelegte technische Anforderungen, die für die erfolgreiche Bereitstellung dieser Szenarien notwendig sind.
• Relevante ökologische und ökonomische Indikatoren identifiziert und bewertet, um den Mehrwert des 5G-Netzes zu beurteilen.

Diese Phase unterstrich das Engagement des Projekts, Spitzen-Technologie mit bestehenden landwirtschaftlichen Praktiken zu integrieren. Diese Architektur nutzte die Hochgeschwindigkeitskonnektivität des 5G-Netzwerks, um die Echtzeit-Datenerfassung und -verarbeitung zwischen Edge-Geräten und der Cloud zu ermöglichen. Die Cloud-Infrastruktur stellte wesentliche Ressourcen für das Training und die Bereitstellung von KI-Modellen im großen Maßstab bereit, während die KI-Plattform robuste Werkzeuge für die Modellentwicklung und -bereitstellung bot. Die Anwendungsschicht präsentierte dem Endbenutzer umsetzbare Erkenntnisse, die aus KI-Modellen gewonnen wurden, und verbesserte so die Entscheidungsfindungsfähigkeiten.

Maschinelles Lernen und KI im Kontext von 5G

Der Schwerpunkt dieses Teils lag auf der Anpassung bestehender Machine Learning- und KI-Systeme an die oben genannten Szenarien und deren entsprechende Optimierung. Zu den wichtigsten Zielen gehörten:

• Systemziele definieren und die Architektur des Systems entwickeln
• Gesammelte Ground-Truth-Daten für das Training und die Validierung von KI-Modellen.
• Eine geeignete Datenbank für die Pflanzenidentifizierung und -überwachung wurde eingerichtet und mit Anmerkungen versehen.
• Integrierte KI-Modelle nahtlos in die 5G-Netzwerkinfrastruktur eingebunden.

In dieser Phase spielten Edge-Geräte, die mit SIM-Karten für Mobiltelefone ausgestattet waren und 5G-Technologie nutzten, eine entscheidende Rolle. Schlüssel-Leistungsindikatoren (KPIs) wie Latenz oder Ende-zu-Ende (E2E)-Latenz wurden genau überwacht. Die Messungen umfassten die Bewertung der Zuverlässigkeit und Verfügbarkeit von korrekt empfangenen Datenpaketen sowie die Analyse von Benutzerdatenraten und Spitzen-Datenraten.

Darüber hinaus wurden Annahmen getroffen, die auf gestreamten UHD-Auflösungs-Videos im MP4-Format basierten, die über das Transmission Control Protocol (TCP) übertragen wurden. Mögliche Lösungsansätze umfassten die Optimierung mit Einzelbildern anstelle von kontinuierlichen Videostreams, die Durchführung von Basisoptimierungen direkt auf Edge-Geräten und die Implementierung von Modellquantisierungstechniken zur Effizienzsteigerung.

Cloud-Infrastruktur und AWS-Dienste

Das Projekt stützte sich stark auf Cloud-Infrastruktur, die AWS-Dienste wie Lambda, SageMaker, S3, CloudWatch und RDS nutzte, welche eine entscheidende Rolle bei der Bereitstellung der notwendigen Ressourcen für das Training und die Bereitstellung von KI-Modellen spielten.

AWS Lambda wurde für effizientes Instanzmanagement und Anwendungsbereitstellung eingesetzt, während AWS SageMaker den Aufbau robuster Machine-Learning-Pipelines ermöglichte. Speicherlösungen wie S3, CloudWatch und RDS waren unerlässlich für die Speicherung von Datensätzen und Protokollen, die für den Betrieb von Machine-Learning-Modellen und neuronalen Netzen entscheidend sind.

Daher unterstützte diese Infrastruktur die Echtzeit-Datenverarbeitungsfähigkeiten, die durch das 5G-Netzwerk ermöglicht wurden.

5G-Netzwerklatenz

5G-Netzwerke wurden entwickelt, um extrem niedrige Latenzzeiten zu erreichen, die typischerweise im Bereich von 1 bis 10 Millisekunden liegen. Diese Latenz spiegelte die Zeit wider, die Daten benötigten, um über das 5G-Netzwerk zwischen mobilen Geräten und AWS-Servern zu reisen. Geräte-spezifische Verarbeitungsfähigkeiten, wie die Geschwindigkeit der Fotoerfassung und -verarbeitung auf Smartphones mit leistungsstarken Prozessoren, beeinflussten ebenfalls die Latenz.

Die Daten-Upload-Geschwindigkeiten im 5G-Netz und die Größe des Fotos beeinflussten die Datenübertragungszeiten zu AWS. AWS trug weiter zur Latenz bei, indem die Verarbeitungszeiten für Aufgaben wie nervenbasierte Erkennung und Segmentierung variierten, abhängig von der Komplexität des Algorithmus und der Effizienz der AWS-Dienste. Nach der Verarbeitung wurden die Ergebnisse auf mobile Geräte heruntergeladen, was von der Download-Geschwindigkeit von 5G und der Größe der Ergebnisdaten beeinflusst wurde.

Pflanzenerkennung mittels KI

Im Bereich der Pflanzenidentifizierung umfassten KI-gesteuerte Prozesse die Erstellung einer umfassenden Datenbank von Pflanzenbildern zum Trainieren von Algorithmen, die auf neuronalen Netzen basieren. Diese Algorithmen wurden trainiert, Zuckerrübensorten von anderen Pflanzen zu unterscheiden, indem sie spezifische Merkmale dieser besonderen Pflanzenart erkannten, wie z. B. Blattformen, Blütenfarben usw.

Hier bedeutet Pflanzen-Erkennung die Aufgabe der Unkrauterkennung und Segmentierung von Zuckerrübenpflanzen.

• Unkrauterkennung

Für die Unkrauterkennung setzte das Projekt MobileNet-v3 ein, das mit umfangreichen Datenaugmentation und gewichteter Stichproben trainiert wurde. Dieses Modell erreichte eine beeindruckende Genauigkeit von 0,984 und eine AUC von 0,998.

• Zuckerrübensegmentierung

Für Segmentierungsaufgaben wurden Modelle wie YOLACT, ResNeSt, SOLO und U-net verwendet, um einzelne Zuckerrübensprossen in Bildern präzise abzugrenzen. Anschließend wurde das effizienteste Modell basierend auf verschiedenen Kriterien wie Geschwindigkeit, Inferenzzeit usw. ausgewählt. Die Daten für die Segmentierung stammten aus Drohnenaufnahmen von RGB-Bildern, die für Trainings- und Validierungszwecke skaliert und annotiert wurden.

Segmentierungsaufgaben beinhalteten die Erstellung von Masken, die Pflanzenbegrenzungen genau abgrenzten. Diese Methode reduzierte den manuellen Annotationsaufwand bei gleichzeitiger Optimierung der Effizienz. Durch die Priorisierung der Kennzeichnung herausfordernder Stichproben wurde die Leistung des Modells erheblich verbessert. Iteratives Neutraining und Strategien zur Unsicherheitsstichprobenerhebung erwiesen sich als effektiv und erzielten Segmentierungsgenauigkeitsraten von über 98% über verschiedene Wachstumsstadien hinweg.

• Modellbewertung

Das Modell wurde mit strengen Datenaugmentierungen trainiert. Das Modell wurde anhand verschiedener Metriken, einschließlich Intersection over Union (IoU), bewertet. Eine Inferenzanalyse des erstellten Modells, die an einer Teilmenge des Datensatzes ‘plant seedlings v2’ durchgeführt wurde, ergab eine Genauigkeit von 81%. Die Inferenzzeit betrug ungefähr 320 Millisekunden nach einer Initialisierungsphase von 7 Sekunden, die nur einmal pro Sitzung notwendig ist.

Bei der Pflanzenüberwachung mit künstlicher Intelligenz (KI) erfassten Kameras und Sensoren wichtige Pflanzendaten, die von Algorithmen des maschinellen Lernens und der KI analysiert wurden. Diese Analyse spielte eine entscheidende Rolle bei der Beurteilung der Pflanzengesundheit, der Identifizierung von Stress, Krankheiten oder anderen wachstumsbeeinflussenden Faktoren.

Anwendungen reichten von der Optimierung der landwirtschaftlichen Produktivität bis zur Überwachung natürlicher Ökosysteme wie Wälder, zur Unterstützung von Naturschutzbemühungen und zur Verbesserung des Verständnisses von Umweltauswirkungen.

Objekterkennung in der Pflanzenüberwachung

Die nächste Phase nach der Segmentierung von Zuckerrübenpflanzen ist die Objekterkennung, die darauf abzielt, spezifische Merkmale jeder Pflanze in Bezug auf Gesundheit, Wachstum und andere Faktoren zu verstehen. Für die Objekterkennung in der Pflanzenüberwachung wurden fortschrittliche Modelle wie YOLOv4, MobileNetV2 und VGG-19 mit Aufmerksamkeitsmechanismen eingesetzt. Diese Modelle analysierten segmentierte Bilder von Zuckerrüben, um spezifische Stress- und Krankheitsbereiche zu erkennen und präzise und gezielte Interventionen zu ermöglichen.

Das Projekt erreichte wichtige Meilensteine in der Krankheitserkennung, indem es die auf ImageNet vortrainierten Modelle ResNet-18 und ResNet-34 trainierte. Diese Modelle zeigten eine beeindruckende Genauigkeit von 0,88 bei der Identifizierung von Krankheiten, die Zuckerrübenpflanzen befallen, mit einer Fläche unter der ROC-Kurve (AUC) von 0,898. Die Modelle wiesen eine hohe Vorhersagezuverlässigkeit auf und unterschieden präzise zwischen kranken und gesunden Pflanzen.

Das Projekt verfolgte einen systematischen Ansatz zur Krankheitserkennung, indem Bilder in standardisierte Patches segmentiert wurden. Diese Patches wurden mit interaktiven Werkzeugen sorgfältig annotiert, um krankheitsbefallene Bereiche zu identifizieren. Die Objekterkennung verbesserte die Genauigkeit weiter, indem Begrenzungsrahmen um Pflanzen gezogen wurden, was eine präzise Überwachung der Pflanzengesundheit ermöglichte.

Pflanzenproduktion Vorhersage

Im Bereich der Vorhersage der Pflanzenproduktion nutzten KI-Modelle Umweltdaten wie Wetterbedingungen und Bodenparameter, um Ernteerträge vorherzusagen. Es wurden Regressionsmodelle wie Isolation Forest, Lineare Regression und Ridge Regression eingesetzt.

Diese Modelle integrierten numerische Merkmale, die aus Bounding-Box-Regionen extrahiert wurden, zusammen mit Bodendaten, um die Düngeranwendung zu optimieren.

Überlegungen zur Modellbereitstellung

Es wurden Einsatzstrategien für die entwickelten Modelle sowohl für Edge-Geräte als auch für Cloud-Plattformen evaluiert. Die Bereitstellung von Modellen auf Edge-Geräten bot Vorteile wie reduzierte Kosten und geringere Latenz.

Dieser Ansatz könnte jedoch aufgrund von Hardwarebeschränkungen potenzielle Genauigkeitseinbußen mit sich bringen. Andererseits bot die Cloud-Bereitstellung schnellere Inferenzzeiten durch leistungsstarke GPUs, war aber möglicherweise mit zusätzlichen Kosten verbunden und auf die Internetverbindung angewiesen, was zu Kommunikationslatenzen führen konnte.

Vergleichende Analyse mit 5G-Netzwerk

Eine vergleichende Analyse zeigte, dass die Nutzung eines 5G-Netzwerks die Segmentierung von Zuckerrüben im Vergleich zu herkömmlichen 4G/WLAN-Konfigurationen erheblich verbesserte. Diese Verbesserung zeigte sich in reduzierten durchschnittlichen Einrichtungs- und Netzwerkzeiten, was die durch die 5G-Technologie erzielten Effizienzsteigerungen hervorhebt.

• Datenaufbereitungsprozess

Der Prozess der Datenvorbereitung umfasste das Sammeln von Datensätzen gesunder und kranker Pflanzen, das Erkennen von Unkräutern, die Identifizierung von Wachstumsstadien und die Extraktion von Bildern aus 4K-Rohvideos. Techniken wie Histogrammausgleich, Bildfilterung und HSV-Farbraumtransformation wurden verwendet, um die Daten für die Analyse vorzubereiten.

Es wurden Proben von gesunden Zuckerrübenblättern und kranken Proben, wie Maisblättern mit Grauschimmelflecken, gesammelt. Die Extraktion von Krankheitsmerkmalen umfasste die Trennung des Blattes vom Hintergrund, die Größenänderung, Transformation und Zusammenführung von Bildern, um realistische Proben für die Analyse zu erstellen.

• Aktiver Lernkreislauf

Eine aktives Lernschleife wurde mit unbeschrifteten Daten initiiert, die zum Trainieren von Erkennungsmodellen verwendet wurden. Diese Modelle generierten Annotationsanfragen, die von menschlichen Annotatoren bearbeitet wurden, wodurch die Genauigkeit des Modells durch iterative Trainings- und Annotationszyklen kontinuierlich verfeinert wurde.

• Datenanmerkung mittels multimodalen Fundamentmodells

Um der Herausforderung begrenzter gelabelter Daten zu begegnen, nutzte das Projekt robuste Foundation Models zur Generierung von Ground-Truth-Annotationen. Insbesondere CLIP, ein von OpenAI entwickeltes Transformer-basiertes Modell, das auf einem riesigen Datensatz von über 400 Millionen Bild-Text-Paaren trainiert wurde, spielte eine zentrale Rolle.

Mithilfe von Vision Transformers als Rückgrat erreichte CLIP eine bemerkenswerte Genauigkeit von 95% auf Validierungsdatensätzen und kategorisierte Bilder mit hoher Präzision in verschiedene Klassen wie Zuckerrübe und Unkraut.

• Drohnentechnologie zur Datenerfassung

Eine der entscheidenden Technologien, die in dem Projekt eingesetzt wurden, war der Einsatz von Drohnen, die mit RGB-Kameras ausgestattet waren und 4K-Videos aufzeichneten. Diese Drohnen lieferten detaillierte Bilder (Auflösung 3840 × 2160) zur Analyse.

Die Vorverarbeitung dieser Bilder steigerte die Modellgenauigkeit signifikant, wobei bemerkenswerte Verbesserungen bei Modellen wie VGGNet (+38,52%), ResNet50 (+21,14%), DenseNet121 (+7,53%) und MobileNet (+6,6%) beobachtet wurden.

Techniken wie die Histogramm-Entzerrung wurden verwendet, um den Bildkontrast zu verbessern, während die Umwandlung in den HSV-Farbraum dazu diente, Pflanzenbereiche hervorzuheben und relevante Merkmale zu betonen.

• Generierung synthetischer Daten

Um der Herausforderung begrenzter Bilddaten zu begegnen, wurden mithilfe von maschinellem Lernen und künstlicher Intelligenz synthetische Datensätze generiert. Die Datenerfassung erfolgte mittels Drohnen, die in Höhen zwischen 1m und 4m und Geschwindigkeiten von 2m/s oder mehr flogen und RGB-Kameras nutzten.

Andere Fahrzeuge, wie z. B. Traktoren, wurden ebenfalls für die Datenerfassung eingesetzt. Diese synthetische Datengenerierung erwies sich als besonders vorteilhaft für die Erkennung von Zuckerrübenkrankheiten.

Schlussfolgerung

Das Projekt “5G-Netze als Wegbereiter für Echtzeitlernen in der nachhaltigen Landwirtschaft” demonstrierte erfolgreich, wie die 5G-Technologie die ökologischen, wirtschaftlichen und nachhaltigen Aspekte des Zuckerrübenanbaus verbessern kann. In Zusammenarbeit mit der HSHL und Pfeifer & Langen integrierte das Projekt die Erfassung von Echtzeitdaten und KI-gestützte Analysen, wodurch die Effizienz gesteigert und unnötige Feldbesuche reduziert wurden.

Ein dediziertes 5G-Campusnetz ermöglichte präzise Anwendungen von Düngemitteln und Pflanzenschutzmitteln. Geopard Agriculture spielte eine entscheidende Rolle bei der Entwicklung von Szenarien zur Pflanzenidentifizierung und -überwachung sowie bei der Schaffung eines Prototyps für ein maschinelles Lernsystem für die 5G-Landwirtschaftsumgebung. Der Erfolg des Projekts unterstrich die Bedeutung fortschrittlicher Technologien für die nachhaltige Landwirtschaft und hob das Potenzial von 5G zur Förderung von Innovation und Effizienz hervor.