Forschungsthemen

Optische Sensorik

Um Positionen und Bewegungen von Personen für anspruchsvolle Lokalisierungsaufgaben zu detektieren, eignen sich optische Messsysteme besonders. Deshalb hat das Fraunhofer IIS/EAS ein energieeffizientes System zur Aktivitätssensorik mithilfe von Bildsensor-Systems-on-Chip mit multimodaler, texturbasierter Bildfolgeverarbeitung entwickelt. Es ermöglicht die robuste, ortsaufgelöste Erfassung von Bewegungen und Gesten, ohne dass Bilddaten ausgegeben werden. So bleibt die Privatsphäre geschützt. Die gewonnenen Daten dienen zum Beispiel als Grundlage für Szenenanalysen oder Bewegungsverfolgung.

Unser Ansatz

Beispiele für Karmeramodule

Beispiele für Kameramodule

Der Ansatz des Fraunhofer IIS/EAS basiert auf robusten, texturbasierten, multimodalen Algorithmen zur Bewegungserkennung und -lokalisierung. Für die extrem stromsparende Datenverarbeitung wurde ein Bildsensor-System-on-Chip (SoC) implementiert. Neben dem geringen Energieverbrauch spielte bei dessen Entwicklung auch »Privacy by Design« eine fundamentale Rolle. Die Ableitung von flächigen Objektmerkmalen (Textur) bereits im Bildsensor-SoC ermöglicht einen maximalen Schutz der Privatsphäre. Da er keine Realbilddaten ausgibt, können Personen nicht visuell wiedererkannt werden. Darüber hinaus werden die Anforderungen an zusätzliche Hardwarekomponenten minimiert, was zu niedrigeren Gesamtkosten führt.

Verglichen damit können beispielsweise passive Infrarot-Bewegungsmelder (PIR-Sensoren) ausschließlich feststellen, dass eine Bewegung vorliegt, aber nicht welcher Art sie ist und wo genau sie stattfindet. Durch Kombination mehrerer PIR-Sensoren ist zwar eine Erhöhung der räumlichen Auflösung denkbar. Ein Tracking von Personen, um Position und Bewegungsmuster abzuleiten, ist aber nicht möglich. Im Gegensatz dazu beinhalten die am Fraunhofer IIS/EAS entwickelte Bildsensorhardware und die implementierte Software Algorithmen, die an diese Anforderung angepasst sind. Durch sie lassen sich Texturen unabhängig von der Beleuchtung sowie orts- und zeitaufgelöst erfassen und klassifizieren. So können Menschen automatisch von Geräten, die Bewegungen wiedergeben oder ausführen (Fernseher, Ventilatoren usw.), unterschieden werden.

Unsere Angebote

Das Fraunhofer IIS/EAS bietet seine Lösung zur Präsenzdetektion für verschiedene Implementierungsstufen an. Jede kann um Softwaremodule zur Detektion der Anzahl unabhängiger Objekte, der Position und Bewegungsrichtung sowie des Betretens oder Verlassens definierter Regionen ergänzt werden. Die Anbindung der Hardware ist über Ethernet, Zigbee oder Bluetooth möglich.

1. Softwarelösung für bereits vorhandene Kamerasysteme

  • Bilderfassung über
  • Netzwerk-Streaming oder
  • Externe Kameras (USB, GigE Vision)
  • Bildverarbeitung über
  • Software auf Standard-PC
  • Parametrierung über Web-Schnittstelle oder Netzwerk-Pakete

2. System auf der Grundlage eines integrierten Kamerakopfes

  • Bilderfassung
  • Integriertes Kameramodul mit Objektiv
  • Bildverarbeitung
  • FPGA-System mit embedded ARM
  • Parametrierung über Web-Schnittstelle oder Netzwerk-Pakete

3. System auf der Grundlage von Bildsensor-System-on-Chip

  • Bilderfassung
  • Integriertes HDR Bildsensor-System-on-Chip mit Objektiv
  • Bildverarbeitung
  • Bildsensor-SoC und ARM-Microcontroller
  • Parametrierung über Web-Schnittstelle oder Netzwerk-Pakete

Der Nutzen für unsere Kunden

Veranschaulichung des Regionen-Editors auf externem Kamerabild

Veranschaulichung des Regionen-Editors auf externem Kamerabild

Anzeige der Aktivitäten im Bildfeld (Sensorausgabe)

Anzeige der Aktivitäten im Bildfeld (Sensorausgabe)

  • Erkennen von Ort / Intensität der Aktivität von Personen im definierten Bereich
  • Ausgabe von Realbilddaten durch Algorithmen unterbunden (Privatsphäre)
  • Einsatz auch bei kontrastreicher oder schwacher Beleuchtung
  • Unterscheidung von Personen und bewegten Objekten durch selbstlernendes System
  • Definition von Aufmerksamkeitsregionen und Zuordnung von Ereignissen durch eigene Software (Regionen-Editor)
  • Geringe Leistungsaufnahme (< 100 mW)
  • Optimierung der Gesamtsystemkosten

Referenzen

Wir haben unser Know-how unter anderem in folgendem Forschungsprojekt erarbeitet:

  • EnLight (abgeschlossenes Projekt): Ziel des Projektes ist es, den Stromverbrauch heutiger LEDs um 40 Prozent zu verringern. Dafür sollen unkonventionelle Beleuchtungen entwickelt werden, die optische, thermische und elektrische Aspekte optimal in LEDs vereinen.