In meinem Smart Home habe ich 2 IP-Kameras von Tapo eingebunden. Diese sind zum aktuellen Zeitpunkt für unter 25 Euro auf Amazon zu haben. Die Kameras benutze ich meist, um zu schauen, was die Katzen so machen, wenn niemand zu Hause ist.

Ich erhalte auch eine Benachrichtigung, sobald die Kamera Bewegung erkennt. Aber die Benachrichtigung war auf Dauer ein wenig nervig, dennoch wolle ich wissen, was zu Hause los ist.

Dann habe ich dieses Video gesehen und war begeistert!

In dem Video wird das Addon LLM Vision verwendet. Hiermit kann man sein Video, Bild oder Kamera Stream direkt an die KI seines Vertrauens schicken, und diese beschreibt, was in dem Video passiert.

Ich habe mir dafür eine Gemini API generiert, da man diese bis zu einem gewissen Grad kostenlos verwenden kann.

Anschließend kann man eine Automation erstellen. Hier ein Beispiel:

• Trigger: Kamera erkennt Bewegung
• Bedingung: Nur, wenn niemand zu Hause ist
• Action:
  • LLM Vision: Stream Analyzer
  • Provider: Gemini
  • Prompt: Fasse mir kurz zusammen, was du siehst (kann natürlich angepasst werden)
  • Remember: aktivieren (Da komme ich gleich zu)
  • Camera Entity: Der Kamera Stream
  • Antwortvariable: KIWohnzimmer

Alles andere könnt ihr auf Standard lassen.

Die Antwort der KI könnt ihr euch mit der o.g. Anwortvariable z.B. als Benachrichtigung ans Smartphone schicken. Als Message einfach {{KIWohnzimmer}} eingeben.

Eine zusätzliche coole Funktion, ist Timeline. Klickt dafür auf „Einstellungen – Geräte und Dienste – LLM Vision – Eintrag hinzufügen“ und wählt „Timeline“ aus. Nun erstellt LLM Vision einen Kalender und schreibt alle Ereignisse mit Datum und Uhrzeit als Kalendereintrag hinein. Den Kalendereintrag findet Ihr in der eingebauten Kalender Funktion von Home Assistant.

Mit diesen Informationen könnt ihr alle möglichen Alltagssituationen digitalisieren. Es muss ja nicht zwingend eine Beschreibung der aktuellen Szene sein. Hier weitere Beispiele, wie man die Bilderkennung nutzen kann:

• Kamera im Kühlschrank und die KI sagt dir, was du einkaufen musst, oder was du kochen kannst
• Kamera auf Heizungs- oder Strommesser richten, um diesen über diesen Umweg „Smart“ zu machen und ggf. in Home Assistant einzubinden
• Überprüfen, ob jemand fremdes auf deinem Parkplatz steht
• Anzahl der Tiere im Stall zählen
• Erkennen von Stürzen oder andere Notfälle