Zusätzliche Bildinformationen durch erweiterte Wellenlängenbereiche

Hyperspektrale Bildgebung (HSI) und multispektrale Bildgebung (MSI) sind zwei verwandte Technologien, bei denen spezialisierte Bildverarbeitungssysteme eingesetzt werden, um zusätzliche Bildinformationen aus erweiterten Bereichen des elektromagnetischen Spektrums neben dem sichtbaren Spektrum zu erfassen (Abbildung 1).

Abbildung 1: Das sichtbare Wellenlängenspektrum ist nur ein kleiner Teil des gesamten elektromagnetischen Spektrums. HSI und MSI nutzen zusätzliche Wellenlängen, um mehr Informationen zu sammeln.

Die beiden Technologien sind ähnlich, unterscheiden sich aber geringfügig und jede ist für bestimmte Anwendungsbereiche nützlich. Die gelieferten Bildinformationen können außerordentlich hilfreich sein, allerdings sind die verwendeten Systeme in Bezug auf Beleuchtung, Filter und optisches Design auch sehr viel komplexer.

Bildgebende Verfahren

Typische Bildverarbeitungssysteme nutzen nur Licht im sichtbaren Spektrum (von 400 bis 700 nm) und bei den meisten Bildverarbeitungssensoren liegt die höchste spektrale Empfindlichkeit bei etwa 550 nm. Die Sensorempfindlichkeit wird durch die Quanteneffizienzkurve angegeben und beschreibt für einen bestimmten Sensor die Effizienz der Umwandlung von Photonen einer bestimmten Wellenlänge in ein elektrisches Signal. Die Quanteneffizienzen von Standard-Siliziumsensoren nehmen im UV- und IR-Wellenlängenbereich ab (Abbildung 2).

Abbildung 2: Die Quanteneffizienzkurve für eine RGB-Kamera zeigt die Überschneidung der Empfindlichkeiten von Rot, Grün und Blau.

HS- und MS-Bildgebungsverfahren nutzen spezielle Bildgebungsobjektive und Bildverarbeitungssensoren, um Detailinformationen über das Objekt und die Umgebung in einem viel größeren Bereich des elektromagnetischen Spektrums zu erfassen als Standard-Bildgebungssysteme für sichtbares Licht. Die speziellen Sensoren sind in der Herstellung wesentlich teurer, da sie aus anderen Substratmaterialien als Silizium gefertigt werden. Materialien wie Indiumarsenid (InAs), Galliumarsenid (GaAs) und Indiumgalliumarsenid (InGaAs) werden für die Bildgebung bei Wellenlängen bis zu 2600 nm verwendet, für die Bildgebung bei Wellenlängen im NIR und bis zum MWIR werden Focal-Plane-Arrays aus Quecksilber-Cadmium-Tellurid (MCT oder HgCdTe), Indiumantimonid (InSb) oder Indium-Gallium-Arsenid (InGaAs), Mikrobolometer und einige andere verwendet. Diese Spezialsensoren erfordern größere Pixelgrößen und präzise Kalibrierungen, um die erforderlichen Empfindlichkeiten und Auflösungen zu erreichen.¹

Obwohl die Sensoren aus speziellen Materialien hergestellt werden, funktionieren sie mit wenigen Einschränkungen fast genauso wie herkömmliche Bildverarbeitungssensoren. Kamerasensoren in der industriellen Bildverarbeitung erstellen zweidimensionale Bilder aus Graustufenfeldern, die im Allgemeinen für die Erkennung von Merkmalen zum Sortieren, Messen oder Auffinden von Objekten verwendet werden. Herkömmliche Sensoren sind nicht in der Lage, zwischen den Wellenlängen des Lichts zu unterscheiden, ohne optische Filter oder Bayer-Filter (RGB-Filter) zu verwenden, die die Wellenlängen des auf das Pixel auftreffenden Lichts einschränken.² Eine Bildverarbeitungssoftware erstellt dann das Bild aus den Wellenlängeninformationen des Pixels und der benachbarten Pixel. In HS-Bildern wird über die Pixel die Koordinatenposition (innerhalb des Pixelrasters) und die Signalintensität erfasst. Was jedoch bei herkömmlichen Bildern ein 2D-Graustufenfeld war, wird zu einem 3D-Feld oder Würfel, wobei die Wellenlänge die zusätzliche Dimension ist (Abbildung 2).

Abbildung 3: Der Unterschied zwischen MS- und HS-Bildgebung ist eine diskrete bzw. kontinuierliche Darstellung der Wellenlängeninformationen.

Aus Abbildung 3 ist ersichtlich, dass die Wellenlängeninformationen für jedes Pixel des Sensorarrays erfasst werden. Der Unterschied zwischen MS- und HS-Bildgebung besteht darin, wie die Wellenlängeninformationen dargestellt werden. MSI gruppiert Wellenlängeninformationen in diskrete Bänder, während HSI die Wellenlängeninformation kontinuierlich darstellt. Die Technologien sind somit nahezu identisch, wobei die HS-Bildgebung eine höhere Wellenlängenauflösung als die MS-Bildgebung bietet. Jede Technologie hat in bestimmten Situationen ihre Vor- und Nachteile. HSI eignet sich am besten für Anwendungen, die auf subtile Signalunterschiede in einem kontinuierlichen Spektrum reagieren. Diese feinen Unterschiede könnten von einem MSI-System, das größere Wellenbereiche abtastet, übersehen werden. MSI bietet gegenüber HSI den Vorteil, dass selektiv bestimmte Wellenlängenbereiche aussortiert oder erfasst werden können und somit bei einer geringeren Wellenlängenauswahl die Gesamtverarbeitungszeit sinkt.

Es gibt vier Haupterfassungsmodi für die Gewinnung von Wellenlängeninformationen, die jeweils eine Reihe von Vor- und Nachteilen haben. Die Whiskbroom-Methode ist ein Punkt-Scan-Verfahren, das Spektralinformationen für jeweils eine Raumkoordinate erfasst und die höchste spektrale Auflösung bietet, aber ein Scannen der Fläche entlang der x- und y-Achse erfordert. Dadurch wird die Gesamterfassungszeit erheblich verlängert.¹ Die Pushbroom-Methode ist eine Zeilenabtastmethode, bei der jeweils eine einzelne Pixelreihe abgetastet wird, bis der gesamte Bereich erfasst ist. Systeme, die diese Methode verwenden, sind meist kompakter, leichter und einfacher zu bedienen. Hier ist jedoch die genaue Belichtungszeit entscheidend. Falsche Belichtungszeiten führen zu Bildern mit falscher Sättigung für einige Spektralbänder. Bei der Flächenscan-Methode wird der gesamte 2D-Bereich gescannt, und es werden mehrere Bilder aufgenommen, um die spektrale Tiefe zu erzeugen. Bei dieser Aufnahmemethode ist keine Verschiebung des Sensors oder Systems erforderlich, aber es ist wichtig, dass sich das Objekt während der Aufnahme nicht bewegt. Die vierte und jüngste Erfassungsmethode ist die Single-Shot- oder Snapshot-Methode. Bei dieser Methode wird eine einzige Aufnahme gemacht und der gesamte HS-Datenkubus innerhalb einer einzigen Integrationsperiode erfasst.¹ Diese Methode ist vielversprechend für die Zukunft der HS-Bildgebung, ist jedoch durch die geringere räumliche Auflösung begrenzt und muss daher weiterentwickelt werden.¹

Abbildung 4: Die vier Erfassungsmodi (A) Punkt-Scan- oder Whiskbroom-Methode, (B) Zeilenabtast- oder Pushbroom-Methode, (C) Flächenscan-Methode und (D) Single-Shot-Methode.

Anwendungen

HSI und MSI werden in immer mehr Anwendungsbereichen eingesetzt, z. B. in der Fernerkundung und bei der Abbildung der Erdoberfläche aus der Luft mit unbemannten Luftfahrzeugen (UAVs) und Satelliten. HSI- und MSI-Aufnahmen können die Erdatmosphäre und die Wolkendecke durchdringen und haben so einen ungehinderten Blick auf den Boden. Diese Bildgebung ist ideal für die Überwachung von Bevölkerungsveränderungen, die Beobachtung geologischer Aktivitäten und die Untersuchung archäologischer Stätten. Darüber hinaus wurden HSI- und MSI-Technologien zur Überwachung und Untersuchung von Umweltmustern in Bezug auf Abholzung, Schädigung von Ökosystemen, Kohlenstoffrecycling und schwankende Wettersysteme eingesetzt. Forscher können anhand von Bilddaten Vorhersagemodelle über die globale Ökologie erstellen, die bei der Bekämpfung des Klimawandels und der Eindämmung der menschlichen Einflüsse auf die Natur hilfreich sind.³

Mithilfe von HS- und MS-Bilddaten können Ärzte die Haut scannen, um zelluläre Anomalien einschließlich Krebs nicht-invasiv zu erkennen, da bestimmte Wellenlängen tiefer in die Haut eindringen können als andere. Die Technologie hilft Ärzten bei der Behandlung, da sie nicht mehr nur alleine aufgrund der Beschreibung von Symptomen Rückschlüsse auf den Zustand eines Patienten ziehen müssen. Darüber hinaus können die Bildgebungssysteme Spektraldaten automatisch aufzeichnen und interpretieren, was die Diagnosen beschleunigt und die Zeit zwischen Diagnose und Behandlung verkürzt, um bessere Ergebnisse zu erzielen.⁴

Andere Branchen, die von der HS- und MS-Bildgebung profitieren, sind die Landwirtschaft, die Lebensmittelqualität und -sicherheit sowie die Pharmaindustrie.⁵ Landwirte können mit Spektralbildgebungssystemen, die an Drohnen und Traktoren angebracht sind, große Bereiche von Feldern scannen und so das Wachstum der Pflanzen, den Gesundheitszustand der Pflanzen, den Zustand des Bodens, die Anwendung von Chemikalien wie Pestiziden und das Vorhandensein von schädlichen Erregern oder aktiven Infektionen analysieren. Mit diesen Daten können die Landwirte die Flächennutzung optimieren und die Produktion maximieren. Die Techniken sind auch bei der Bestimmung des Zustands der Wälder von Nutzen, wie in Abbildung 4 und Video 1 gezeigt wird.

Abbildung 5: Diese Bilder zeigen einen Bach, der durch einen Wald fließt. Das Bild ganz links ist ein Standardfarbbild. Das mittlere Bild wird nur von IR-Wellenlängen außerhalb des sichtbaren Spektrums erzeugt. Das dritte Bild ist ein Falschfarbenbild, das aus den Wellenlängeninformationen der ersten beiden Bilder erstellt wird und dazu verwendet werden kann, den Zustand der Bäume und das Vorhandensein von künstlichen Objekten zu erkennen. Das Bild wurde mit freundlicher Genehmigung von Benjamin Margulies zur Verfügung gestellt.

Video 1: Erfahren Sie mehr darüber, wie die in Abbildung 5 gezeigten Bilder aus verschiedenen Spektren kombiniert werden können, um mehr über den Gesundheitszustand von Pflanzenbeständen zu erfahren.

Zukünftige Entwicklungen bei HSI und MSI versuchen diese Bildgebungssysteme wesentlich kompakter, kostengünstiger und benutzerfreundlicher zu machen. Die Erleichterung des Zugangs zu dieser Technologie und ihre einfachere Anwendung in allen Branchen wird zweifellos ihren Einsatz in viel mehr Bereichen ermöglichen.

Literatur

1. Hyperspectral Imaging: A Review on UAV-Based Sensors, Data Processing and Applications for Agriculture and Forestry.
2. Schelkanova, I., et al. “Early Optical Diagnosis of Pressure Ulcers.” Biophotonics for Medical Applications, 2015, S. 347–375., doi:10.1016/b978-0-85709-662-3.00013-0.
3. Unninayar, S. und L. Olsen. “Monitoring, Observations, and Remote Sensing – Global Dimensions.” Encyclopedia of Ecology, 2008, S. 2425–2446., doi:10.1016/b978-008045405-4.00749-7.
4. Armin Schneider und Hubertus Feußner. Biomedical Engineering in Gastrointestinal Surgery. Academic Press, 2017.
5. Imaging in Dermatology, 2016; Kapitel 16 – Hyperspectral and Multispectral Imaging in Dermatology.