Uczenie się w czasie rzeczywistym z wykorzystaniem technologii 5G w zrównoważonym rolnictwie: badanie dotyczące buraków cukrowych

Z przyjemnością informujemy o pomyślnym zakończeniu projektu “Sieci 5G jako czynnik umożliwiający naukę w czasie rzeczywistym w zrównoważonym rolnictwie”, który został częściowo dofinansowany przez Ministerstwo Gospodarki, Przemysłu, Działań na rzecz Klimatu i Energii kraju związkowego Nadrenia Północna-Westfalia.

Inicjatywa ta stanowi ważny krok naprzód w eksploracji potencjału transformacyjnego technologii 5G w rolnictwie, a w szczególności ma na celu poprawę ekologicznych, ekonomicznych i zrównoważonych aspektów uprawy buraków cukrowych.

Wykorzystano niskie opóźnienia technologii 5G, aby zintegrować zaawansowane systemy informatyczne w czasie rzeczywistym, umożliwiając natychmiastowe reakcje na dane z czujników i dane pozycyjne w zdefiniowanych ramach czasowych.

Skupienie projektu i partnerstwo

Projekt, realizowany we współpracy z partnerami z HSHL i przy wsparciu firmy Pfeifer & Langen, koncentrował się na badaniu całego cyklu uprawy buraków cukrowych na polach należących do partnerów. Jego celem było zademonstrowanie, w jaki sposób technologia 5G może odegrać kluczową rolę w rozwoju technologii w sektorze rolnym Nadrenii Północnej-Westfalii, prezentując jej potencjał jako czynnika sprzyjającego innowacjom i efektywności.

Rola GeoPard Agriculture

Firma GeoPard Agriculture odegrała kluczową rolę w zdefiniowaniu i wdrożeniu kluczowych aspektów projektu, w tym scenariuszy wykrywania, monitorowania i prognozowania produkcji roślin. Opracowaliśmy prototyp systemu AI dostosowanego do środowiska rolniczego 5G, wykonaliśmy modele w infrastrukturze chmurowej oraz stworzyliśmy aplikację mobilną do interakcji w czasie rzeczywistym z modelami chmurowymi.

Integracja technologiczna

Metody sztucznej inteligencji (AI) zostały wdrożone za pośrednictwem solidnej infrastruktury chmurowej o wysokiej mocy obliczeniowej. Algorytmy AI kategoryzowały rośliny w czasie rzeczywistym podczas każdego przejścia i monitorowały ich wzrost w całym cyklu życia, eliminując potrzebę niepotrzebnych wizyt w terenie wyłącznie w celu gromadzenia danych.

Dzięki temu postępowi możliwe stało się precyzyjne stosowanie nawozów i środków ochrony roślin, a dawki aplikacji można dynamicznie dostosowywać podczas przejazdów za pomocą algorytmów uczenia maszynowego.

Wdrażanie pojazdów bezzałogowych

Ponadto projekt wykorzystał zmniejszone opóźnienie technologii 5G do wdrożenia bezzałogowych pojazdów do monitorowania roślin i gromadzenia danych. Pojazdy te odegrały kluczową rolę w gromadzeniu informacji w czasie rzeczywistym i dalszej optymalizacji praktyk rolniczych.

Rezultaty projektu: Zwiększenie produkcji buraków cukrowych dzięki technologii 5G

Projekt pokazał, jak technologia 5G może odegrać rolę w transformacji sektora rolnego w Nadrenii Północnej-Westfalii, analizując cały cykl uprawy buraków cukrowych i wskazując na istotne usprawnienia, jakie umożliwia technologia 5G. Aby jednak skutecznie zademonstrować rezultaty projektu, badacze wykorzystali pakiety robocze zawierające różne scenariusze i infrastruktury.

Definicja scenariusza uwzględniająca istniejące dane geograficzne i infrastrukturę uczenia maszynowego

Projekt pokazał, jak tradycyjne procesy w cyklu produkcji buraków cukrowych można usprawnić dzięki integracji technologii 5G. Kluczowe cele obejmowały:

• Opracowano gotowe do wdrożenia scenariusze do rozpoznawania zakładów, monitorowania i przewidywania produkcji.
• Ustalono wymagania techniczne niezbędne do pomyślnego wdrożenia tych scenariuszy.
• Zidentyfikowano i oceniono istotne wskaźniki ekologiczne i ekonomiczne w celu oszacowania wartości dodanej wnoszonej przez sieć 5G.

Ta faza podkreśliła zaangażowanie projektu w integrację najnowocześniejszych technologii z istniejącymi praktykami rolniczymi. Architektura ta wykorzystywała szybką łączność sieci 5G, aby ułatwić gromadzenie i przetwarzanie danych w czasie rzeczywistym między urządzeniami brzegowymi a chmurą. Infrastruktura chmurowa zapewniła niezbędne zasoby do szkolenia i wdrażania modeli AI na dużą skalę, a platforma AI oferowała solidne narzędzia do tworzenia i wdrażania modeli. Warstwa aplikacji prezentowała użytkownikom końcowym praktyczne wnioski z modeli AI, zwiększając możliwości podejmowania decyzji.

Uczenie maszynowe i sztuczna inteligencja w kontekście 5G

Celem tej części było dostosowanie istniejących systemów uczenia maszynowego i sztucznej inteligencji (AI) do scenariuszy opisanych powyżej, a także ich odpowiednia optymalizacja. Kluczowe cele obejmowały:

• Zdefiniuj cele systemu i opracuj architekturę systemu
• Zebrano dane rzeczywiste do szkolenia i walidacji modeli sztucznej inteligencji.
• Utworzono i opisano odpowiednią bazę danych dostosowaną do identyfikacji i monitorowania roślin.
• Bezproblemowa integracja modeli AI z infrastrukturą sieci 5G.

W tej fazie kluczową rolę odegrały urządzenia brzegowe wyposażone w karty SIM telefonów komórkowych wykorzystujące technologię 5G. Uważnie monitorowano kluczowe wskaźniki wydajności (KPI), takie jak opóźnienie czy opóźnienie end-to-end (E2E). Pomiary obejmowały dokładną ocenę niezawodności i dostępności odbieranych pakietów danych, a także analizę prędkości transmisji danych użytkowników i szczytowych prędkości transmisji danych.

Ponadto założenia oparto na strumieniowym przesyłaniu wideo o rozdzielczości UHD w formacie MP4 za pośrednictwem protokołu TCP (Transmission Control Protocol). Rozważane potencjalne rozwiązania obejmowały optymalizację z wykorzystaniem pojedynczych obrazów zamiast ciągłych strumieni wideo, wykonywanie optymalizacji bazowych bezpośrednio na urządzeniach brzegowych oraz implementację technik kwantyzacji modeli w celu zwiększenia wydajności.

Infrastruktura chmurowa i usługi AWS

Projekt w dużej mierze opierał się na infrastrukturze chmurowej wykorzystującej usługi AWS, takie jak Lambda, SageMaker, S3, CloudWatch i RDS, które odegrały kluczową rolę w dostarczaniu niezbędnych zasobów do szkolenia i wdrażania modeli sztucznej inteligencji.

Do efektywnego zarządzania instancjami i obsługi aplikacji wykorzystano platformę AWS Lambda, a AWS SageMaker ułatwił budowę solidnych potoków uczenia maszynowego. Rozwiązania pamięci masowej, takie jak S3, CloudWatch i RDS, były niezbędne do przechowywania zestawów danych i logów kluczowych dla działania modeli uczenia maszynowego i sieci neuronowych.

Dzięki temu infrastruktura ta obsługuje możliwości przetwarzania danych w czasie rzeczywistym, jakie zapewnia sieć 5G.

Opóźnienie sieci 5G

Sieci 5G zostały zaprojektowane z myślą o osiągnięciu ultraniskich opóźnień, zazwyczaj od 1 do 10 milisekund. Opóźnienie to odzwierciedlało czas potrzebny na przesłanie danych między urządzeniami mobilnymi a serwerami AWS za pośrednictwem sieci 5G. Na opóźnienie wpływały również możliwości przetwarzania specyficzne dla danego urządzenia, takie jak szybkość rejestrowania i przetwarzania zdjęć na smartfonach z wydajnymi procesorami.

Prędkość przesyłania danych w sieci 5G oraz rozmiar zdjęcia wpływały na czas przesyłania danych do AWS. AWS dodatkowo przyczyniał się do opóźnień, ponieważ czas przetwarzania zadań, takich jak detekcja i segmentacja oparta na sieciach neuronowych, różnił się w zależności od złożoności algorytmu i wydajności usługi AWS. Po przetworzeniu wyniki były przesyłane z powrotem na urządzenia mobilne, co zależało od prędkości pobierania 5G i rozmiaru danych wynikowych.

Rozpoznawanie roślin za pomocą sztucznej inteligencji

W dziedzinie rozpoznawania roślin, procesy oparte na sztucznej inteligencji obejmowały stworzenie obszernej bazy danych obrazów roślin do trenowania algorytmów opartych na sieciach neuronowych. Algorytmy te zostały wytrenowane w celu odróżniania gatunków buraka cukrowego od innych roślin poprzez rozpoznawanie cech specyficznych dla danego typu rośliny, takich jak kształty liści, kolory kwiatów itp.

W tym przypadku przez rozpoznawanie roślin rozumiemy wykrywanie chwastów i segmentację roślin buraka cukrowego.

• Wykrywanie chwastów

Do wykrywania chwastów w projekcie wykorzystano platformę MobileNet-v3, która została wytrenowana z wykorzystaniem rozbudowanych rozszerzeń danych i próbkowania ważonego. Model ten osiągnął imponującą dokładność na poziomie 0,984 i AUC na poziomie 0,998.

• Segmentacja buraków cukrowych

Do zadań segmentacyjnych wykorzystano modele takie jak YOLACT, ResNeSt, SOLO i U-net, aby precyzyjnie wyodrębnić poszczególne próbki buraków cukrowych na obrazach. Następnie wybrano najefektywniejszy model na podstawie różnych kryteriów: szybkości, czasu wnioskowania itp. Dane do segmentacji pochodziły z obrazów RGB wykonanych dronem, które zostały przeskalowane i opatrzone adnotacjami w celach szkoleniowych i walidacyjnych.

Zadania segmentacyjne polegały na tworzeniu masek, które precyzyjnie wyznaczały granice roślin. Ta metoda ograniczyła nakład pracy związany z adnotacjami, optymalizując jednocześnie wydajność. Priorytetowe traktowanie etykietowania trudnych próbek znacząco poprawiło wydajność modelu. Iteracyjne strategie ponownego trenowania i próbkowania niepewności okazały się skuteczne, osiągając wskaźniki dokładności segmentacji przekraczające 98% w różnych fazach wzrostu.

• Ocena modelu

Model został wytrenowany z wykorzystaniem rygorystycznych rozszerzeń danych. Model został oceniony przy użyciu różnych metryk, w tym Intersection over Union (IoU). Analiza wnioskowania dla zbudowanego modelu, przeprowadzona na podzbiorze danych ‘plant seedlings v2’, wykazała dokładność 81%. Czas wnioskowania wynosił około 320 milisekund po 7-sekundowym okresie inicjalizacji, wymaganym tylko raz na sesję.

W monitorowaniu roślin opartym na sztucznej inteligencji (AI) kamery i czujniki rejestrowały kluczowe dane dotyczące roślin, analizowane przez algorytmy uczenia maszynowego i AI. Analiza ta odegrała kluczową rolę w ocenie stanu zdrowia roślin, identyfikując stres, choroby i inne czynniki wpływające na wzrost.

Zastosowania sięgają od optymalizacji wydajności rolnictwa po monitorowanie naturalnych ekosystemów, takich jak lasy, wspomaganie działań na rzecz ochrony środowiska i pogłębianie wiedzy na temat wpływu na środowisko.

Detekcja obiektów w monitoringu instalacji

Kolejnym etapem po segmentacji roślin buraka cukrowego jest detekcja obiektów, której celem jest zrozumienie specyfiki każdej rośliny pod względem zdrowotności, wzrostu i innych czynników. Do detekcji obiektów w monitoringu roślin wykorzystano zaawansowane modele, takie jak YOLOv4, MobileNetV2 i VGG-19 z mechanizmami uwagi. Modele te analizowały segmentowane obrazy buraków cukrowych w celu wykrycia określonych obszarów stresu i chorób, umożliwiając precyzyjne i ukierunkowane interwencje.

Projekt osiągnął znaczące kamienie milowe w zakresie wykrywania chorób, trenując modele ResNet-18 i ResNet-34 wstępnie wytrenowane w sieci ImageNet. Modele te wykazały imponującą dokładność na poziomie 0,88 w identyfikacji chorób atakujących rośliny buraka cukrowego, przy powierzchni pod krzywą ROC (AUC) wynoszącej 0,898. Modele wykazały się wysoką pewnością predykcji, precyzyjnie rozróżniając rośliny chore od zdrowych.

W projekcie zastosowano systematyczne podejście do wykrywania chorób, segmentując obrazy na standardowe obszary. Obszary te poddano szczegółowej adnotacji za pomocą interaktywnych narzędzi, aby wskazać obszary dotknięte chorobami. Wykrywanie obiektów dodatkowo zwiększyło dokładność, wyznaczając granice wokół roślin, co ułatwiło precyzyjne monitorowanie ich stanu.

Prognozowanie produkcji roślinnej

W dziedzinie prognozowania produkcji roślinnej modele sztucznej inteligencji wykorzystywały dane środowiskowe, takie jak warunki pogodowe i parametry gleby, do prognozowania plonów. Zastosowano modele regresji, takie jak model lasu izolacyjnego, regresja liniowa i regresja grzbietowa.

Modele te integrują cechy numeryczne wyodrębnione z obszarów ograniczających wraz z danymi dotyczącymi gleby w celu optymalizacji stosowania nawozów.

Rozważania dotyczące wdrażania modelu

Strategie wdrażania opracowanych modeli zostały ocenione zarówno dla urządzeń brzegowych, jak i platform chmurowych. Wdrażanie modeli na urządzeniach brzegowych przyniosło korzyści, takie jak niższe koszty i mniejsze opóźnienia.

Jednak takie podejście może wiązać się z niższym poziomem dokładności ze względu na ograniczenia sprzętowe. Z drugiej strony, wdrożenie w chmurze oferowało krótszy czas wnioskowania przy użyciu wydajnych procesorów GPU, ale mogło wiązać się z dodatkowymi kosztami i było uzależnione od połączenia internetowego, co mogło powodować opóźnienia w komunikacji.

Analiza porównawcza z siecią 5G

Analiza porównawcza wykazała, że wykorzystanie sieci 5G znacząco poprawiło segmentację buraków cukrowych w porównaniu z tradycyjnymi konfiguracjami 4G/WiFi. Poprawę tę potwierdza skrócony średni czas konfiguracji i pracy sieci, co podkreśla wzrost wydajności osiągnięty dzięki technologii 5G.

• Proces przygotowania danych

Proces przygotowania danych obejmował zebranie zestawów danych dotyczących zdrowych i chorych roślin, wykrycie chwastów, identyfikację faz wzrostu oraz ekstrakcję obrazów z surowego materiału wideo 4K. Do przygotowania danych do analizy wykorzystano techniki takie jak wyrównywanie histogramów, filtrowanie obrazu i transformacja przestrzeni barw HSV.

Zebrano próbki zdrowych liści buraka cukrowego oraz próbek chorych, takich jak liście kukurydzy z szarą plamistością liści. Ekstrakcja cech chorobowych polegała na oddzieleniu liścia od tła, zmianie rozmiaru, transformacji i scaleniu obrazów w celu uzyskania realistycznych próbek do analizy.

• Aktywna pętla uczenia się

Aktywna pętla uczenia została zainicjowana z nieoznakowanymi danymi, wykorzystanymi do trenowania modeli detekcji. Modele te generowały zapytania adnotacyjne, na które odpowiadali annotatorzy, stale udoskonalając dokładność modelu poprzez iteracyjne cykle trenowania i adnotacji.

• Adnotacja danych za pomocą multimodalnego modelu fundamentowego

Aby sprostać wyzwaniu ograniczonej ilości danych z etykietami, projekt wykorzystał solidne modele bazowe do generowania adnotacji opartych na prawdziwych faktach. Warto zauważyć, że CLIP, model oparty na transformatorach opracowany przez OpenAI, wytrenowany na ogromnym zbiorze danych obejmującym ponad 400 milionów par obraz-tekst, odegrał kluczową rolę.

Wykorzystując Vision Transformers jako podstawę, CLIP osiągnął niezwykłą dokładność 95% w zestawach walidacyjnych, sprawnie kategoryzując obrazy na odrębne klasy, takie jak buraki cukrowe i chwasty, z dużą precyzją.

• Technologia dronów do zbierania danych

Jedną z kluczowych technologii zastosowanych w projekcie było wykorzystanie dronów wyposażonych w kamery RGB, które rejestrowały wideo w rozdzielczości 4K. Drony te dostarczyły szczegółowych obrazów (o rozdzielczości 3840×2160) do analizy.

Wstępne przetwarzanie tych obrazów znacząco zwiększyło dokładność modelu, a zauważalną poprawę zaobserwowano w przypadku modeli takich jak VGGNet (+38,52%), ResNet50 (+21,14%), DenseNet121 (+7,53%) i MobileNet (+6,6%).

Do zwiększenia kontrastu obrazu zastosowano takie techniki, jak wyrównywanie histogramu, natomiast transformacja do przestrzeni barw HSV pomogła podkreślić obszary roślinne i wyróżnić istotne cechy.

• Generowanie syntetycznych danych

Aby sprostać wyzwaniu ograniczonej ilości danych obrazowych, wygenerowano syntetyczne zestawy danych za pomocą uczenia maszynowego i sztucznej inteligencji. Dane zbierano za pomocą dronów latających na wysokości od 1 do 4 metrów z prędkością 2 m/s lub większą, wykorzystując kamery RGB.

Do zbierania danych wykorzystano również inne pojazdy, takie jak traktory. To syntetyczne generowanie danych okazało się szczególnie przydatne w wykrywaniu chorób buraka cukrowego.

Wniosek

Projekt “Sieci 5G jako czynnik umożliwiający uczenie się w czasie rzeczywistym w zrównoważonym rolnictwie” z powodzeniem pokazał, jak technologia 5G może poprawić ekologiczne, ekonomiczne i zrównoważone aspekty uprawy buraków cukrowych. Dzięki współpracy z HSHL i Pfeifer & Langen, projekt zintegrował gromadzenie danych w czasie rzeczywistym z analizą opartą na sztucznej inteligencji, zwiększając wydajność i ograniczając zbędne wizyty w terenie.

Dedykowana sieć kampusowa 5G umożliwiła precyzyjne stosowanie nawozów i środków ochrony roślin. Geopard Agriculture odegrał kluczową rolę w opracowaniu scenariuszy wykrywania i monitorowania roślin oraz stworzeniu prototypu systemu uczenia maszynowego dla środowiska rolniczego 5G. Sukces projektu podkreślił znaczenie zaawansowanych technologii w zrównoważonym rolnictwie, wskazując na potencjał technologii 5G w napędzaniu innowacji i efektywności.