Visuelle Überwachung von landwirtschaftlichen Anbausystemen: Ein multimodaler Ansatz

Die Welt ist aufgrund des Klimawandels und der wachsenden Weltbevölkerung einem wachsenden Risiko von Nahrungsmittelknappheit ausgesetzt. Die digitale Transformation der Landwirtschaft birgt das Potenzial, effiziente, widerstandsfähige und umweltfreundliche Pflanzenproduktionssysteme zu schaffen. In den letzten Jahren wurden automatische Überwachungsverfahren basierend auf verschiedenen bildgebenden Verfahren (z. B. hyperspektrale, Wärmebildtechnik) wurden erfolgreich eingesetzt, um Trockenheit in Pflanzen zu erkennen, Fäulnis in Früchten zu erkennen und andere Aufgaben. Als solche haben sie sich als wertvolle Instrumente zur Erreichung von Nachhaltigkeit in landwirtschaftlichen Systemen erwiesen. Etablierte Methoden setzen jedoch meist auf die gleichzeitige Verwendung einer einzigen Bildgebungstechnologie. Dadurch wird das Potenzial der Komplementarität vernachlässigt Informationen, die mit mehreren Kameras gewonnen werden könnten und zu einer verbesserten Überwachungsgenauigkeit führen könnten. Das Ziel dieses Dissertationsprojekts ist es daher, mehrere Kameratechnologien gleichzeitig für die Überwachung von Pflanzenproduktionsprozessen zu nutzen und leistungsstarke multimodale maschinelle Lerntechniken zu entwickeln, um relevante Prozesse präzise vorherzusagen Zieleigenschaften. In diesem Projekt werden die Eingabemodalitäten durch verschiedene Bildgebungstechnologien (z. B. Wärmebildkamera für Temperatur, Hyperspektralkamera für Wellenbandinformationen (inkl. sichtbares Licht), Lidar-Kamera für Tiefeninformationen) repräsentiert. Um zu zeigen, dass die entwickelten Methoden des maschinellen Lernens verallgemeinerbar sind, werden sie in evaluiert Drei Anwendungsfälle aus der Praxis, die das gesamte Spektrum des „One Health“-Konzepts abbilden: 1) Gesundheits-/Fruchtbarkeitsbewertung von Böden, 2) Erkennung von Nährstoffmangel bei Pflanzen, 3) Früherkennung von Fäulnis bei Obst und Gemüse. Beiträge dieser Arbeit sind 1) das Design neuartiger multimodaler maschineller Lerntechniken zur Vorhersage biologischer Merkmale aus mehreren Kameramodalitäten basierend auf Deep-Learning-Methodik, 2) die Entwicklung von Modalitätsfusionsmethoden, die Robustheit gegenüber fehlenden Modalitäten ermöglichen und dies ermöglichen gemeinsame Vorhersage mehrerer Merkmale, 3) die detaillierte Bewertung der praktischen Machbarkeit und des Verbesserungsgrades gegenüber unimodalen Methoden in realen Anwendungsfällen. Mit den entwickelten Methoden will diese Dissertation einen Beitrag zu einer sichereren globalen Nahrungsmittelversorgung leisten.