Home Assistant Smartspeaker

Um dem Blog besser folgen zu können, werden tiefergehende Kenntnisse in Home Assistant empfohlen. Für Einsteiger empfiehlt sich zuerst unser Blogbeitrag: Home Assistant auf dem Raspberry Pi – Schritt-für-Schritt-Anleitung ohne Cloud.

Sprachassistenten sind in den heutigen Zeiten, in denen generative KI in aller Munde ist, vielleicht keine große Neuheit mehr. Dennoch hat sich auch diese Technik mit dem Fortschritt in der künstlichen Intelligenz massiv verbessert, weshalb wir uns in diesem Blog mit der Einbindung eines Sprachassistenten in unser Smart Home auf Basis von Home Assistant befassen wollen.

Während früher der gängige Weg die Einbindung eines Sprachassistenten über einen kommerziellen Smart Speaker war, gibt es nun mit immer leistungsstärkerer Technik und Fortschritten in der KI-Entwicklung auch die Möglichkeit, einen Sprachassistenten direkt auf dem Home-Assistant-Server zu betreiben.

Dies entspricht auch genau den Kerngedanken von Home Assistant, da dadurch die Kontrolle über das eigene System gewahrt werden kann und es sich genau auf die eigenen Bedürfnisse zuschneiden lässt.

Der smarte Lautsprecher

Logischerweise benötigen wir ein Mikrofon und einen Lautsprecher, um die Sprachbefehle zu registrieren und die Antworten ausgeben zu können. Unser smarter Lautsprecher verarbeitet die Mikrofon- und Lautsprecherdaten, indem diese an den deutlich leistungsstärkeren Home-Assistant-Server übermittelt werden, welcher ja auch als unsere zentrale Steuereinheit fungiert. Da der Mikrocontroller im Lautsprecher nicht die komplette Sprachverarbeitung übernimmt, wird dieser meist als Audio-Satellit bezeichnet.

Es gibt zwei Möglichkeiten, um solch einen Sprachsatelliten zu bauen.

Zum einen kannst du dir deinen Lautsprecher mit Komponenten aus unserem BerryBase-Shop individuell zusammenstellen und selbst zusammenbauen.

Alternativ gibt es aber auch eine Vielzahl an Entwicklungsboards, welche genau für diese Anwendung entwickelt worden sind und teils sogar schon in einem Gehäuse geliefert werden.

Die DIY-Variante

Für die Verarbeitung der Mikrofon- und Lautsprecherdaten wird noch ein Mikrocontroller benötigt. Hier verwenden wir einen ESP32-S3, welcher sich durch seine Leistungsfähigkeit und WLAN-Unterstützung sehr gut dafür eignet.

Als Lautsprecherverstärker und Mikrofon verwenden wir besondere Module, welche über einen eigenen ADC (Analog-Digital-Converter) bzw. DAC (Digital-Analog-Converter) verfügen, um das Audiosignal in digitale Werte umzuwandeln bzw. zu erzeugen, und für genau solche Audioanwendungen ausgelegt sind.

Exkurs I2S

Der Lautsprecher und das Mikrofon können über das I2S-Protokoll mit dem Mikrocontroller kommunizieren. Vielleicht kennst du schon das I2C-Protokoll, welches für die Einbindung von Sensoren und kleinen Displays verwendet wird. Trotz der Ähnlichkeit im Namen handelt es sich um zwei unterschiedliche Schnittstellen. Während I2C für „Inter-Integrated Circuit“ steht, bezeichnet I2S „Inter-IC Sound“.

Dennoch unterscheiden sich diese Protokolle in der Pinbezeichnung und im Kommunikationsablauf sehr stark. Während bei I2C die Geräte einzeln adressiert werden, ist I2S speziell für die Übertragung digitaler Audiodaten ausgelegt. Hierbei werden neben den Audiodaten auch ein Taktsignal und ein Links-Rechts-Taktsignal übertragen, um die Datenübertragung zu synchronisieren.

Mögliche Module

Mikrocontroller:

Mikrofon:

Lautsprecherverstärker / Audioausgabe:

Schließe die Module wie folgt an (Minimalbeschaltung):

Hinweis: Der Schaltplan zeigt beispielhaft PCM5100 und SPH0645. Bei MAX98357A und INMP441 sind die I2S-Signalverbindungen vergleichbar, die Pinbezeichnungen können abweichen. Der PCM5100 benötigt einen Aktivlautsprecher oder Verstärker, der MAX98357A kann passive Lautsprecher direkt betreiben.

ESP32 S3MikrofonVerstärker
3,3VVDDVDD
GNDGND, LRGND
z.B. IO15SD/DIN
z.B. IO18WS/LRCLWSL/WSEL
z.B. IO17SCK/BCLKSCK/BCK
z.B. IO16SD/DOUT

Für I2S können grundsätzlich verschiedene geeignete GPIO-Pins verwendet werden. Die verwendeten Pins müssen allerdings mit der späteren ESPHome-Konfiguration übereinstimmen.

Der Lautsprecher wird direkt an die Ausgänge SPK+ und SPK− des MAX98357A-Verstärkers angeschlossen. Keiner der beiden Lautsprecheranschlüsse darf mit GND verbunden werden.

Plug and Play

Neben der Möglichkeit, sich die Hardware des Assistenten aus Mikrofon und Lautsprecher selbst zusammenzustellen, gibt es auch fertige Entwicklungsboards zu kaufen, welche teils nur noch konfiguriert und programmiert werden müssen.

Hier findest du eine kleine Auswahl:

Diese Liste enthält nur einen Bruchteil der kompatiblen Entwicklungsboards. Verfügt ein Entwicklungsboard aber über einen geeigneten ESP32-Mikrocontroller mit ausreichend PSRAM, ein Mikrofon und eine passende Audioausgabe, kann es grundsätzlich als Sprachsatellit geeignet sein. Die tatsächliche Kompatibilität mit ESPHome sollte vorher geprüft werden.

Programmierung

Für die Programmierung benötigst du noch die ESPHome-App. Diese kannst du ganz einfach im App-Store von Home Assistant installieren (Einstellungen → Apps → App installieren).

ESPHome in der App-Übersicht

Nun öffnen wir die ESPHome-Benutzeroberfläche über den Shortcut in der Seitenleiste und erstellen erst einmal ein neues ESPHome-Gerät.

ESPHome-Shortcut in der Seitenleiste

Sollte dieser bei dir nicht angezeigt werden, kannst du ihn in den App-Einstellungen durch einen Schalter einblenden.

Boardauswahl

Wähle zunächst ein beliebiges Board aus. Die Boardeinstellung wird durch den nachfolgenden Code überschrieben. Achte darauf, dass die Konfiguration zu deinem tatsächlich verwendeten ESP32-S3 passt.

Erste Code Übersicht nach der erfolgreichen Erstellung des Boards.

Wie du hier erkennen kannst, sieht diese Konfiguration etwas anders aus als das gewohnte C/C++ der Arduino IDE oder PlatformIO.

Das liegt daran, dass es sich hier um YAML handelt, was keine klassische Programmiersprache ist, sondern mehr als Konfigurationssprache verstanden werden kann.

Achtung:

Da ESPHome komplexe Bibliotheken kompilieren muss, kann dies schnell an die Kapazitäten des Arbeitsspeichers des Servers (meist Raspberry Pi) stoßen! Hier kann ein sogenannter ESPHome Remote Compiler Abhilfe schaffen, welcher die Rechenleistung eines leistungsstärkeren PCs anstatt des meist schwächeren Servers nutzt.

Allgemeines DIY-Beispiel

Die Konfiguration setzt sich hier aus Abschnitten bzw. Modulen (z. B. I2S-Treiber, Mikrofon, Lautsprecher, WLAN etc.) zusammen.

Kopiere einfach das nachfolgende YAML-Skript in die neu für den Audio-Satelliten erstellte YAML-Datei:

esphome:
  name: voicesatellite
  friendly_name: voiceSatellite
  on_boot:
    priority: -100
    then:
      - delay: 3s
      - micro_wake_word.start:

esp32:
  board: esp32-s3-devkitc-1
  framework:
    type: esp-idf

psram:
  mode: octal
  speed: 80MHz

logger:

api:

ota:
  - platform: esphome

wifi:
  ssid: !secret wifi_ssid
  password: !secret wifi_password

  ap:
    ssid: "voiceSatellite-Fallback"
    password: !secret fallback_password

captive_portal:

# I2S-Bus für externes Mikrofon und Verstärker
i2s_audio:
  - id: i2s_bus
    i2s_lrclk_pin: GPIO18
    i2s_bclk_pin: GPIO17

# I2S-Mikrofon, z. B. INMP441
microphone:
  - platform: i2s_audio
    id: voice_mic
    i2s_audio_id: i2s_bus
    adc_type: external
    i2s_din_pin: GPIO16
    channel: left
    sample_rate: 16000
    bits_per_sample: 32bit
    pdm: false

# I2S-Verstärker, z. B. MAX98357A
speaker:
  - platform: i2s_audio
    id: voice_speaker
    i2s_audio_id: i2s_bus
    dac_type: external
    i2s_dout_pin: GPIO15
    channel: mono
    sample_rate: 16000
    bits_per_sample: 16bit

# Aktivierungswort "Okay Nabu"
micro_wake_word:
  id: mww
  microphone:
    microphone: voice_mic
    channels: 0
    gain_factor: 4
  models:
    - model: okay_nabu
      id: okay_nabu_model
  on_wake_word_detected:
    - voice_assistant.start:
        wake_word: !lambda return wake_word;

# Home-Assistant-Sprachassistent
voice_assistant:
  id: assistant
  microphone: voice_mic
  speaker: voice_speaker
  noise_suppression_level: 2
  auto_gain: 31dBFS
  volume_multiplier: 2.0
  micro_wake_word: mww

  on_client_connected:
    - logger.log: "Voice Assistant mit Home Assistant verbunden"

  on_client_disconnected:
    - logger.log: "Verbindung zu Home Assistant getrennt"

  on_end:
    - wait_until:
        not:
          voice_assistant.is_running:
    - delay: 500ms
    - micro_wake_word.start:

  on_error:
    - logger.log:
        format: "Voice Assistant Fehler: %s"
        args: ["message.c_str()"]
    - logger.log: "Voice Assistant Fehler"
    - delay: 1s
    - micro_wake_word.start:

# Einfacher Aktivierungsknopf in Home Assistant
button:
  - platform: template
    name: "Sprachassistent starten"
    on_press:
      - voice_assistant.start:

Getestet laut Autor mit Home Assistant Core 2026.9.4 und ESPHome 2026.9.1 im September 2026.

Hinweis: Die Konfiguration ist für einen ESP32-S3 mit externem I2S-Mikrofon und passender Audioausgabe vorgesehen. Je nach verwendetem Entwicklungsboard müssen die GPIO-Belegung und die PSRAM-Einstellungen angepasst werden. Für das Fallback-WLAN muss außerdem ein individuelles Passwort unter fallback_password in den ESPHome-Secrets hinterlegt werden.

Weitere Informationen zur Konfiguration findest du in der offiziellen ESPHome-Dokumentation zum Voice Assistant.

Code für fertige Entwicklungsboards

Verwendest du ein Entwicklungsboard aus der oberen Liste, dann findest du passende YAML-Skripte unter den folgenden Links:


Nicht alle Beispiel-YAML-Skripte sind auf dem neuesten Stand, wodurch es unter Umständen zu Kompatibilitätsproblemen mit der aktuellen ESPHome- bzw. Home-Assistant-Version kommen könnte. Orientiere dich bei Problemen an der aktuellen ESPHome-Dokumentation.

Flashen des Mikrocontrollers

Falls du das erste Mal mit ESPHome ein Board programmierst, musst du noch deine WLAN-Zugangsdaten in ESPHome einmalig als „Secrets“ hinterlegen. Diese Zugangsdaten werden dann automatisch anstelle der Platzhalter im Code eingesetzt.

Ist der Code komplett und zeigt keine Fehler an, steht nichts mehr im Weg, den Code auf das Board zu laden. Wird ein Mikrocontroller das erste Mal programmiert, muss dies in der Regel noch über die USB-Verbindung geschehen. Auch wenn dies über eine Verbindung mit deinem Desktop-Computer möglich ist, empfiehlt es sich, den Mikrocontroller direkt mit dem Server zu verbinden.

Ist der Mikrocontroller danach mit dem WLAN verbunden, kann dieser in Zukunft mittels OTA (Over the Air) geflasht werden.

Nun haben wir einen Mikrocontroller programmiert, welcher per Sprachbefehl angesprochen werden kann und die Mikrofondaten an den lokalen Home-Assistant-Server sendet, aber auch die von Home Assistant erzeugte Antwort als Audio über den Lautsprecher abspielen kann.

Konfiguration des Home-Assistant-Servers

Grundkonfiguration

Um die vom Mikrofon übermittelte Sprache verarbeiten zu können, benötigen wir eine Software, welche diese in Text umwandelt. Genauso brauchen wir für die andere Richtung eine Software, welche den Antworttext in Sprache umwandelt, damit dieser über den Lautsprecher ausgegeben werden kann.

Diese Software können wir ganz einfach über den Home-Assistant-App-Store installieren. Öffne dazu in den Einstellungen den Menüpunkt „Apps“. Hier klickst du auf „App installieren“ unten rechts und suchst nach „Speech-to-Phrase“ und „Piper“, welche du beide installierst und im Anschluss startest.

App-Store-Installation (Suche)

Ist die Software gestartet, sollten die Dienste automatisch in der Geräteverwaltung (Einstellungen → Geräte & Dienste) über die Integration „Wyoming Protocol“ erkannt werden und können daraufhin durch einen Klick auf „Hinzufügen“ in Home Assistant integriert werden.

Sind die Dienste integriert, können wir nun mit der Konfiguration fortfahren.

Einstellungen → Geräte & Dienste

Öffne die Einstellungen in Home Assistant und wähle hier den Menüpunkt „Sprachassistenten“. Hier hast du die Möglichkeit, über den Button „Assistent hinzufügen“ deinen Assistenten zu konfigurieren.

Nachdem du einen Namen für deine Assistentenkonfiguration gewählt hast, wählst du in den nachfolgenden Dropdown-Menüs die neu installierten Dienste „Speech-to-Phrase“ und „Piper“ aus und bestätigst deine Auswahl mit „Erstellen“.

Bevor wir mit der Integration des ESP32 fortfahren, können wir den Assistentenablauf kurz über die Home-Assistant-Benutzeroberfläche testen.

Öffne das Assistenten-Symbol auf der Übersichtsseite und klicke auf das Mikrofonsymbol, worauf du deinen ersten Befehl, z. B. „Aktiviere [Name der Szene]“, sprechen kannst. Wird der Befehl erkannt und die Szene aktiviert, ist der Assistent korrekt konfiguriert und wir können mit dem nächsten Schritt fortfahren.

Wenn du deinen Voice-Satelliten mit dem WLAN verbindest, sollte dieser auch automatisch in der Geräteverwaltung angezeigt werden und kann daraufhin hinzugefügt werden.

Nun kannst du unter „Geräte & Dienste“ die Benutzeroberfläche des ESPHome-Gerätes öffnen und auf den Button klicken, wodurch der Assistentenablauf gestartet wird. Jetzt kannst du auch über das Mikrofon deinen Befehl eingeben und beispielsweise Szenen aktivieren oder Lampen ein- und ausschalten. Eine Übersicht über die mit Speech-to-Phrase kompatiblen Befehle findest du in der Home-Assistant-Dokumentation.

Sollte etwas nicht wie gewünscht reagieren, kannst du das Protokoll in der ESPHome-Oberfläche öffnen und die Logs verfolgen und auswerten.

Fortgeschritten

Wie du vielleicht festgestellt hast, sind die Befehle mit Speech-to-Phrase recht beschränkt und der standardmäßige Home-Assistant-Konversationsagent auch nicht sehr umfangreich.

Vielleicht erinnerst du dich noch an die komplexen LLMs, welche am Anfang dieses Blogs erwähnt wurden. Nun wollen wir das komplette Potenzial aus dem Aufbau holen, indem wir einen Konversationsagenten vom KI-Anbieter OpenAI verwenden und einen umfangreicheren Spracherkennungsdienst einsetzen.

Öffne erneut „Geräte & Dienste“ und klicke auf „Integration hinzufügen“, wo du nach „OpenAI“ suchst. Hier wird ein API-Schlüssel verlangt. Diesen kannst du über die Entwicklerplattform von OpenAI erstellen. Navigiere hierzu auf das API-Dashboard, wo du unter „API Keys“ einen Schlüssel erstellen kannst.

Da die API-Nutzung bei OpenAI kostenpflichtig ist (die Kosten hängen unter anderem vom verwendeten Modell und dem Tokenverbrauch ab), musst du noch Guthaben aufladen bzw. eine Zahlungsmethode hinterlegen, um die API nutzen zu können.

Im Anschluss kannst du im Assistenten-Konfigurationsfenster OpenAI als Konversationsagenten auswählen.

Als alternativen Spracherkennungsdienst kannst du entweder einen externen Dienst verwenden oder die lokale Alternative „Whisper“ als App installieren. Bei umfangreichen Sprachmodellen stößt der Raspberry Pi leicht an seine Grenzen, wodurch hier die Verwendung eines leistungsstärkeren Servers empfohlen wird (z. B. Mini-PC).

Nun kannst du nicht nur einfache standardisierte Befehle ausführen, sondern auch abstraktere Anweisungen geben oder sogar mit deinem Assistenten interagieren.

Assistent mit Home Assistant als Konversationsagent

OpenAI-Konversationsagent

Hinweis: Während die Sprachverarbeitung mit den entsprechenden Diensten vollständig lokal erfolgen kann, werden bei der Verwendung von OpenAI Daten an einen externen Dienst übertragen.

⚠️ Haftungshinweis: Die Nutzung der KI-Integration und die Verbindung mit externen Diensten können Sicherheits- und Datenschutzrisiken mit sich bringen. Die Nutzung erfolgt auf eigene Verantwortung. Für daraus entstehende Schäden wird, soweit gesetzlich zulässig, keine Haftung übernommen.

Fazit

Im heutigen Blogbeitrag haben wir einen Smart Speaker für Home Assistant gebaut, dessen Sprachverarbeitung mit den entsprechenden Diensten komplett lokal auf dem eigenen Server laufen kann. Durch die flexible Gestaltung der Hardware können die Voice-Satelliten, welche die Audioschnittstelle des Servers darstellen, an viele Gegebenheiten angepasst oder in neue Projekte integriert werden.

Diese lokale Möglichkeit bietet nicht nur viel Kontrolle, sondern ermöglicht auch eine kostengünstige Sprachassistentenlösung für dein Smart Home.

Falls du noch mehr aus deinem Sprachassistenten herausholen möchtest, gibt es die Möglichkeit, ein geeignetes Waveshare-ESP32-S3-Entwicklungsboard mit Display zu verwenden, da einige dieser Boards bereits mit einem Mikrofon und einer Audioausgabe ausgestattet sind. Somit ermöglichen sie nicht nur eine Steuerung über Sprache, sondern auch eine einfache grafische Benutzeroberfläche.

Wenn du dich generell für selbstgebaute Lautsprecher interessierst, findest du in unserem Beitrag Smart Speaker selber bauen: Alte Lautsprecher mit dem HiFiBerry AMP2 modernisieren ein weiteres spannendes Projekt.

Viel Spaß beim Nachbauen 🙂

💬 Tipp: Teile gerne deine Erfahrungen und Setups in den Kommentaren – die Community lebt vom Austausch und neuen Ideen.

Passende Hardware für deinen Home Assistant Sprachassistenten

Die mobile Version verlassen