AI-powered Security Cam – Technology deep-dives Part 1

AI-powered Security Cam – Technology deep-dives Part 1

[Reading Time: 3 minutes]

Einleitend

Ich habe nach längeren, intensiven Stunden endlich meine SecurityCam in einem Zustand, den ich dir nun endlich vorstellen möchte. Dabei verwende ich cutting-edge Technologien, die es sich lohnt, näher zu betrachten. Doch bevor ich mit dem Technology-DeepDive in einem mehrteiligen Bericht durchstarte, will ich dir gern noch meine Motivation mitgeben. Vielleicht kannst du dich darin wiederfinden?

Warum eine smarte SecurityCam

Vor schon recht langer Zeit wollte ich wissen, was sich vor meiner Haustüre abspielt. Besonders aber wollte ich gern mitbekommen, wenn der Postbote eintrifft bzw. wann er da war. Wer kleine Kinder hat, die auch mal nachmittags ein Schläfchen halten sollten, der kennt das. Niemand möchte, dass sie durch eine schrille Klingel geweckt werden. Was unsere Postboten meist nicht wissen können (oder wollen 😈).

Ich wollte daher schlichtweg ein System bauen, welches mich darüber informiert, dass der Postbote in meiner Hofeinfahrt einfährt. Doof nur, dass die meisten Systeme von SecurityCams nicht wissen, was ein Postbote ist. Daher habe ich meinen eigenen Ansatz versucht. ..und das kam dabei raus:

System, dass Personen, Autos, Postautos uvm. erkennt und verfolgt.

Dieser mehrteilige Beitrag ist voll gespickt mit Technologien, die ich dir gern näher erläutern möchte. Vielleicht macht dich die nachfolgende Liste neugierig.

  • Azure IoTHub
  • Azure IoTEdge
  • Computer Vision API
  • Custom Vision API
  • Tensorflow
  • Azure Blob Storage
  • Jetson Nano

Mein Hardware Setup besteht, grob beschrieben, aus einem Jetson Nano (einem embedded Device von NVidia), angebunden über Ethernet (kann aber auch WLAN) ans Internet und einer WebCam. Da Machine Learning immer etwas mehr Power braucht und damit auch für Temperatur sorgt, habe ich einen Lüfter drangehängt.

Jetson Nano Setup

Die software-seitigen Komponenten habe ich nachfolgend mal als Highlevel Architektur skizziert. Darin läuft der Jetson Nano als Edge-Device und ist an Microsoft Azure über den IoT Hub (Cloud Gateway) angebunden. Ein Lautsprecher ermöglicht die Maschine-Mensch-Kommunikation.

Highlevel-Architektur

Der Nano kann im Offlinebetrieb arbeiten, aber auch bei bestehender Internetverbindung mit der Cloud kommunizieren. Der Jetson Nano analysiert die Bilder, die eine WebCam liefert. Jedes Objekt, dass erkannt wird, wird ausgeschnitten und im lokalen Storage abgelegt. Erkennt das System ein Postauto, wird gleichzeitig an einen Lautsprecher die Meldung „Ich sehe ein Postauto“ ausgegeben. Bei intakter Internetverbindung werden die erkannten Objekte (Bildschnippsel) in den Online-Storage übertragen und lokal gelöscht. Gleichzeitig werden die Eventdaten (wann welches Objekt gesichtet wurde) als Zeitfolgendaten in die Cloud gestreamt. Das nachfolgende Bild zeigt die eintreffenden Events in einem filterbaren Chart.

Abbildung 3 Timeseries data

Und, bist du nun neugierig? Dann ließ im nächsten Beitrag weiter:
Custom Vision – ich erkenne das Postauto“. In diesem Beitrag beschreibe ich, wie ich ein Machine Learning Modell für das Erkennen eines Postautos gebaut habe.

Von Thomas Tomow

Als Managing Consultant arbeite ich bei Alegri in Stuttgart. Dort konzentriere ich mich mit einem auf IoT, UX/Design und DevOps spezialisierten Team darauf, Kunden auf die nächste digitale Zukunft vorzubereiten. Ich arbeite seit fast 2 Jahrzehnten als IT-Berater, IT-Architekt und Chefentwickler mit Kenntnissen in NetFramework, agilen Methoden wie Scrum und vielem mehr. In den letzten Jahren habe ich begonnen, mich auf IoT- und Digitalisierungsstrategien in Unternehmensszenarien zu konzentrieren. Vor allem verwendete ich Microsofts Azure Cloud, um Kunden dabei zu unterstützen, ihre Visionen wahr werden zu lassen. Das Teilen von Wissen und das Üben von Prinzipien ist etwas, das mir sehr gefällt. Deshalb bin ich auch Co-Administrator der Azure-Meetup-Gruppe in Stuttgart, wo ich auch meine Erfahrungen teilen möchte. Damit wurde ich im November von Microsoft als MVP (Most Valuable Professional) ausgezeichnet.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.