Навчання в режимі реального часу з підтримкою 5G у сталому сільському господарстві: Дослідження на прикладі цукрових буряків

Ми раді оголосити про успішне завершення проєкту “Мережі 5G як засіб навчання в реальному часі у сталому сільському господарстві”, що частково фінансується Міністерством економіки, промисловості, боротьби зі зміною клімату та енергетики землі Північний Рейн-Вестфалія.

Ця ініціатива є значним кроком уперед у дослідженні трансформаційного потенціалу технології 5G у сільському господарстві, зокрема, спрямованого на покращення екологічних, економічних та стійких аспектів вирощування цукрових буряків.

Він використав низьку затримку 5G для інтеграції передових інформаційно-технологічних систем у режимі реального часу, що дозволило негайно реагувати на дані датчиків та позиціонування у заздалегідь визначені терміни.

Фокус проекту та партнерство

У співпраці з партнерами з HSHL та за підтримки Pfeifer & Langen проєкт зосередився на вивченні всього життєвого циклу вирощування цукрових буряків на полях, що належать партнерам. Його метою було продемонструвати, як 5G може слугувати ключовим технологічним каталізатором у сільськогосподарському секторі Північного Рейну-Вестфалії, демонструючи його потенціал як рушійної сили інновацій та ефективності.

Роль сільського господарства GeoPard

Компанія GeoPard Agriculture відіграла вирішальну роль у визначенні та впровадженні ключових аспектів проєкту, включаючи сценарії для виявлення рослин, моніторингу та прогнозування виробництва. Ми розробили прототип системи штучного інтелекту, адаптованої для сільськогосподарського середовища 5G, виконали моделі в хмарній інфраструктурі та створили мобільний додаток для взаємодії з хмарними моделями в режимі реального часу.

Технологічна інтеграція

Методи штучного інтелекту (ШІ) були розгорнуті через надійну хмарну інфраструктуру з високими обчислювальними можливостями. Алгоритми ШІ класифікували рослини в режимі реального часу під час кожного перетину та контролювали їхній ріст протягом усього життєвого циклу, що усуває необхідність непотрібних польових виїздів виключно для збору даних.

Цей прогрес дозволив точно вносити добрива та засоби захисту рослин, динамічно регулюючи норми внесення під час перетинів за допомогою алгоритмів машинного навчання.

Розгортання безпілотних транспортних засобів

Крім того, проєкт використовував зменшену затримку 5G для розгортання безпілотних транспортних засобів для моніторингу рослин та збору даних. Ці транспортні засоби відіграли вирішальну роль у зборі інформації в режимі реального часу та подальшій оптимізації сільськогосподарських практик.

Результати проекту: Збільшення виробництва цукрових буряків за допомогою технології 5G

Проєкт продемонстрував, як технологія 5G може стати трансформаційним фактором у сільськогосподарському секторі Північного Рейну-Вестфалії, проаналізувавши весь життєвий цикл вирощування цукрових буряків, виділивши суттєві покращення, що сприяють технології 5G. Однак, щоб ефективно продемонструвати результати проєкту, дослідники використовували робочі пакети, що містять різні сценарії та інфраструктури.

Визначення сценарію з урахуванням існуючої геоданих та інфраструктури машинного навчання

Проєкт продемонстрував, як традиційні процеси в життєвому циклі виробництва цукрових буряків можна покращити завдяки інтеграції технології 5G. Ключові цілі включали:

• Розроблено готові до впровадження сценарії для розпізнавання, моніторингу та прогнозування виробництва рослин.
• Встановлено технічні вимоги, необхідні для успішного розгортання цих сценаріїв.
• Визначив та оцінив відповідні екологічні та економічні показники для оцінки доданої цінності, яку приносить мережа 5G.

Цей етап підкреслив прагнення проекту до інтеграції передових технологій з існуючими сільськогосподарськими методами. Ця архітектура використовувала високошвидкісне підключення мережі 5G для полегшення збору та обробки даних у режимі реального часу між периферійними пристроями та хмарою. Хмарна інфраструктура забезпечувала необхідні ресурси для навчання та розгортання великомасштабних моделей штучного інтелекту, тоді як платформа штучного інтелекту пропонувала надійні інструменти для розробки та розгортання моделей. Рівень додатків надавав кінцевим користувачам практичні висновки, отримані з моделей штучного інтелекту, розширюючи можливості прийняття рішень.

Машинне навчання та штучний інтелект у контексті 5G

Основна увага в цій частині була спрямована на адаптацію існуючих систем машинного навчання та штучного інтелекту відповідно до описаних вище сценаріїв та їх відповідну оптимізацію. Ключові цілі включали:

• Визначити цілі системи та розробити її архітектуру
• Зібрав базові дані для навчання та перевірки моделей штучного інтелекту.
• Створено та анотовано відповідну базу даних, адаптовану для ідентифікації та моніторингу рослин.
• Безшовна інтеграція моделей штучного інтелекту в інфраструктуру мережі 5G.

На цьому етапі вирішальну роль відіграли периферійні пристрої, оснащені SIM-картками мобільних телефонів, що використовують технологію 5G. Ключові показники ефективності (KPI), такі як затримка або наскрізна (E2E) затримка, ретельно контролювалися. Вимірювання включали оцінку надійності та доступності пакетів даних, отриманих точно, а також аналіз швидкості передачі даних користувачів та пікової швидкості передачі даних.

Крім того, припущення були зроблені на основі потокового відео з роздільною здатністю UHD у форматі MP4, що передається через протокол керування передачею (TCP). Потенційні рішення, що розглядалися, включали оптимізацію з використанням окремих зображень замість безперервних відеопотоків, виконання базової оптимізації безпосередньо на периферійних пристроях та впровадження методів квантування моделі для підвищення ефективності.

Хмарна інфраструктура та сервіси AWS

Проєкт значною мірою спирався на хмарну інфраструктуру, використовуючи такі сервіси AWS, як Lambda, SageMaker, S3, CloudWatch та RDS, які відіграли вирішальну роль у забезпеченні необхідних ресурсів для навчання та розгортання моделей штучного інтелекту.

AWS Lambda використовувалася для ефективного керування екземплярами та обслуговування додатків, тоді як AWS SageMaker сприяв побудові надійних конвеєрів машинного навчання. Рішення для зберігання даних, такі як S3, CloudWatch та RDS, були важливими для зберігання наборів даних та журналів, необхідних для роботи моделей машинного навчання та нейронних мереж.

Отже, ця інфраструктура підтримувала можливості обробки даних у режимі реального часу, що стали можливими завдяки мережі 5G.

Затримка мережі 5G

Мережі 5G були розроблені для досягнення наднизької затримки, яка зазвичай коливається від 1 до 10 мілісекунд. Ця затримка відображає час, необхідний для передачі даних між мобільними пристроями та серверами AWS через мережу 5G. Можливості обробки, специфічні для пристрою, такі як швидкість зйомки та обробки фотографій на смартфонах з високопродуктивними процесорами, також впливали на затримку.

Швидкість завантаження даних у мережі 5G та розмір фотографії впливали на час передачі даних до AWS. AWS також сприяла затримці обробки для таких завдань, як виявлення та сегментація на основі нейронних мереж, яка змінювалася залежно від складності алгоритму та ефективності обслуговування AWS. Після обробки результати завантажувалися назад на мобільні пристрої, на що впливали швидкість завантаження 5G та розмір отриманих даних.

Розпізнавання рослин за допомогою штучного інтелекту

У сфері розпізнавання рослин, процеси на основі штучного інтелекту включали створення комплексної бази даних зображень рослин для навчання алгоритмів на основі нейронних мереж. Ці алгоритми були навчені розрізняти види цукрових буряків від інших рослин шляхом розпізнавання ознак, специфічних для цього конкретного типу рослини, таких як форма листя, кольори квіток тощо.

Тут під розпізнаванням рослин ми маємо на увазі завдання виявлення бур'янів та сегментації рослин цукрового буряка.

• Виявлення бур'янів

Для виявлення бур'янів у проекті використовувалася програма MobileNet-v3, яка була навчена з використанням значного доповнення даних та зваженої вибірки. Ця модель досягла вражаючої точності 0,984 та площі під кривошипною кривою (AUC) 0,998.

• Сегментація цукрових буряків

Для завдань сегментації використовувалися такі моделі, як YOLACT, ResNeSt, SOLO та U-net, щоб точно розмежувати окремі зразки цукрових буряків на зображеннях. Потім найефективнішу модель було обрано на основі різних критеріїв: швидкості, часу логічного висновку тощо. Дані для сегментації були отримані з RGB-зображень, отриманих дроном, розмір яких був змінений та анотований для цілей навчання та валідації.

Завдання сегментації включали створення масок, які точно окреслювали межі рослин. Цей метод зменшив зусилля людини на анотування, одночасно оптимізуючи ефективність. Завдяки пріоритетному маркуванню складних зразків, продуктивність моделі була значно покращена. Ітеративні стратегії перенавчання та невизначеної вибірки виявилися ефективними, досягши рівня точності сегментації, що перевищує 98% на різних стадіях росту.

• Оцінювання моделі

Модель була навчена з використанням ретельного доповнення даних. Модель була оцінена за допомогою різних метрик, включаючи перетин над об'єднанням (IoU). Аналіз висновків для побудованої моделі, проведений на підмножині з набору даних ‘саджанці рослин v2’, продемонстрував точність 81%. Час висновку для обчислення зайняв приблизно 320 мілісекунд після 7-секундного періоду ініціалізації, необхідного лише один раз за сеанс.

У моніторингу рослин на основі штучного інтелекту (ШІ) камери та датчики фіксували важливі дані про рослини, які аналізувалися за допомогою машинного навчання та алгоритмів ШІ. Цей аналіз відіграв вирішальну роль в оцінці здоров'я рослин, виявленні стресу, хвороб або інших факторів, що впливають на ріст.

Застосування поширювалося від оптимізації сільськогосподарської продуктивності до моніторингу природних екосистем, таких як ліси, сприяння зусиллям з охорони природи та покращення розуміння впливу на навколишнє середовище.

Виявлення об'єктів під час моніторингу рослин

Наступним етапом після сегментації рослин цукрового буряка є виявлення об'єктів, спрямоване на розуміння специфіки кожної рослини з точки зору здоров'я, росту та інших факторів. Для виявлення об'єктів під час моніторингу рослин були використані передові моделі, такі як YOLOv4, MobileNetV2 та VGG-19 з механізмами уваги. Ці моделі аналізували сегментовані зображення цукрових буряків для виявлення конкретних зон стресу та хвороб, що дозволяло здійснювати точні та цілеспрямовані втручання.

Проєкт досяг значних успіхів у виявленні хвороб, навчаючи моделі ResNet-18 та ResNet-34, попередньо навчені на ImageNet. Ці моделі продемонстрували вражаючу точність 0,88 у виявленні хвороб, що вражають рослини цукрового буряка, з площею під ROC-кривою (AUC) 0,898. Моделі продемонстрували високу впевненість у прогнозуванні, точно розрізняючи хворі та здорові рослини.

У проєкті було застосовано систематичний підхід до виявлення хвороб, сегментуючи зображення на стандартизовані ділянки. Ці ділянки пройшли ретельне анотування за допомогою інтерактивних інструментів для точного визначення ділянок, уражених хворобами. Виявлення об'єктів ще більше підвищило точність, окреслюючи обмежувальні рамки навколо рослин, що сприяло точному моніторингу здоров'я рослин.

Прогнозування виробництва рослин

В галузі прогнозування врожайності рослин моделі штучного інтелекту використовували дані про навколишнє середовище, такі як погодні умови та параметри ґрунту, для прогнозування врожайності сільськогосподарських культур. Були застосовані такі регресійні моделі, як ізольований ліс, лінійна регресія та грядова регресія.

Ці моделі інтегрували числові характеристики, отримані з областей обмежувальних рамок, разом з даними ґрунту для оптимізації внесення добрив.

Міркування щодо розгортання моделі

Стратегії розгортання розроблених моделей були оцінені як для периферійних пристроїв, так і для хмарних платформ. Розгортання моделей на периферійних пристроях пропонувало такі переваги, як зниження витрат та менша затримка.

Однак, такий підхід може призвести до зниження потенційної точності через апаратні обмеження. З іншого боку, хмарне розгортання пропонувало швидший час виведення даних з використанням високопродуктивних графічних процесорів, але могло призвести до додаткових витрат і залежало від підключення до Інтернету, що могло призвести до затримки зв'язку.

Порівняльний аналіз з мережею 5G

Порівняльний аналіз показав, що використання мережі 5G значно покращило сегментацію цукрових буряків порівняно з традиційними налаштуваннями 4G/WiFi. Це покращення підтвердилося скороченням середнього часу налаштування та роботи мережі, що підкреслює підвищення ефективності, досягнуте завдяки технології 5G.

• Процес підготовки даних

Процес підготовки даних включав збір наборів даних про здорові та хворі рослини, виявлення бур'янів, визначення стадій росту та вилучення зображень із відео 4K RAW. Для підготовки даних до аналізу використовувалися такі методи, як вирівнювання гістограми, фільтрація зображень та перетворення колірного простору HSV.

Було зібрано зразки здорового листя цукрового буряка та уражених хворобами зразків, таких як листя кукурудзи із сірою плямистістю. Вилучення ознак хвороби включало відділення листка від фону, зміну розміру, трансформацію та об'єднання зображень для створення реалістичних зразків для аналізу.

• Активний цикл навчання

Було ініційовано активний цикл навчання з немаркованими даними, які використовувалися для навчання моделей виявлення. Ці моделі генерували запити анотацій, на які відповідали анотатори-люди, постійно вдосконалюючи точність моделі за допомогою ітеративних циклів навчання та анотацій.

• Анотація даних за допомогою мультимодальної фундаментальної моделі

Вирішуючи проблему обмеженості маркованих даних, проєкт використовував надійні базові моделі для створення анотацій на основі реальних даних. Зокрема, ключову роль відіграла CLIP, модель на основі трансформаторів, розроблена OpenAI, яка навчалася на величезному наборі даних, що містить понад 400 мільйонів пар зображення-текст.

Використовуючи Vision Transformers як основу, CLIP досяг вражаючої точності 95% на наборах даних для валідації, вміло класифікуючи зображення за окремими класами, такими як цукровий буряк та бур'яни, з високою точністю.

• Технологія дронів для збору даних

Однією з критично важливих технологій, що застосовувалися в проєкті, було використання дронів, оснащених RGB-камерами, які знімали відео у форматі 4K. Ці дрони надавали детальні зображення (роздільна здатність 3840×2160) для аналізу.

Попередня обробка цих зображень значно підвищила точність моделі, причому помітні покращення спостерігалися в таких моделях, як VGGNet (+38.52%), ResNet50 (+21.14%), DenseNet121 (+7.53%) та MobileNet (+6.6%).

Такі методи, як вирівнювання гістограми, використовувалися для покращення контрастності зображення, тоді як перетворення в колірний простір HSV допомогло підкреслити ділянки рослин та виділити відповідні особливості.

• Генерація синтетичних даних

Щоб вирішити проблему обмеженості даних зображень, за допомогою машинного навчання та штучного інтелекту були створені синтетичні набори даних. Збір даних проводився за допомогою дронів, що летіли на висоті від 1 до 4 м та швидкістю 2 м/с або більше, з використанням RGB-камер.

Для збору даних також використовувалися інші транспортні засоби, такі як трактори. Таке синтетичне отримання даних виявилося особливо корисним для виявлення хвороб цукрових буряків.

Висновок

Проєкт “Мережі 5G як засіб навчання в реальному часі у сталому сільському господарстві” успішно продемонстрував, як технологія 5G може покращити екологічні, економічні та стійкі аспекти вирощування цукрових буряків. Завдяки співпраці з HSHL та Pfeifer & Langen, проєкт інтегрував збір даних у реальному часі та аналіз на основі штучного інтелекту, підвищивши ефективність та зменшивши непотрібні виїзди на поля.

Спеціальна мережа 5G на кампусі дозволила точно вносити добрива та засоби захисту рослин. Geopard Agriculture відіграла вирішальну роль у розробці сценаріїв виявлення та моніторингу рослин, а також у створенні прототипу системи машинного навчання для сільськогосподарського середовища 5G. Успіх проекту підкреслив важливість передових технологій у сталому сільському господарстві, підкресливши потенціал 5G для стимулювання інновацій та підвищення ефективності.