Assist в Home Assistant: локальное голосовое управление без облака

Коротко: Assist это голосовой ассистент, встроенный в Home Assistant. Он собирается из четырёх независимых частей: сателлит с микрофоном, распознавание речи, разбор команды и синтез ответа. Каждую часть можно заменить, и весь конвейер способен работать без интернета. Для быстрого локального голоса нужен мини-ПК уровня Intel N100, для простого управления светом хватает Raspberry Pi 4 с моделью Speech-to-Phrase. Главное ограничение на старте: слова пробуждения у openWakeWord пока только английские.

Assist появился в Home Assistant в версии 2023.2. Он не привязан к одной колонке: один и тот же конвейер обслуживает приложение на телефоне, фирменную колонку Voice Preview Edition и самодельный сателлит на ESP32.

Отличие от Алисы, Google Assistant и Alexa в том, что Assist это не готовый сервис, а конструктор. Вы сами решаете, где распознаётся речь, где хранится текст команд и может ли система работать без интернета. Плата за свободу это время на настройку и честное понимание ограничений. Если выбор между локальным и облачным управлением ещё открыт, начните со сравнения подходов в разборе где хранятся данные умного дома.

Что такое Assist и чем он отличается от Алисы

Assist это не отдельное устройство и не приложение, а часть Home Assistant. Кнопка ассистента есть прямо на панели управления, поэтому первую команду можно отдать голосом или текстом сразу после установки, без покупки железа.

Ассистент решает две группы задач. Первая это управление: включить свет, открыть штору, выставить температуру, запустить сценарий. Вторая это бытовые мелочи: таймеры, списки покупок, напоминания, ответ о погоде или состоянии датчика.

Принципиальная разница с Алисой в том, что Assist не продаёт подписку на голос. Аудио может вообще не покидать квартиру, а история команд остаётся на вашем сервере. Обратная сторона: Assist не расскажет анекдот и не найдёт музыку по настроению без языковой модели.

Из чего состоит голосовой конвейер

Assist работает как конвейер, в котором звук проходит четыре последовательных шага. Понимание этой схемы экономит часы настройки: жалобу «не понимает команду» можно разложить на четыре отдельные проверки.

Шаги независимы: можно распознавать речь локально, а синтез отдать облаку, или наоборот. Связывает всё протокол Wyoming: по нему Home Assistant общается с сервисами распознавания и синтеза, и по нему же общаются сателлиты. Поэтому распознавание можно вынести на отдельный компьютер в сети.

Какое железо нужно для локального голоса

Требования к железу определяет не Assist, а выбранная модель распознавания. Официальная документация Home Assistant даёт такие ориентиры.

Восемь секунд на Raspberry Pi 4 объясняют, почему многие разочаровываются в локальном голосе: между «сказал» и «свет включился» проходит ощутимая пауза, и разговор не складывается. На мини-ПК с процессором уровня Intel N100 та же модель укладывается в секунду. Отсюда вывод: если собирать локальный голос всерьёз, экономить на железе не стоит. Подбор вариантов с компромиссами разобран в статье Home Assistant на мини-ПК или Raspberry Pi.

Распознавание речи: Speech-to-Phrase против Whisper

Для локального распознавания Home Assistant предлагает две модели, и они решают разные задачи. Speech-to-Phrase это закрытая модель: она слышит только фразы управления домом. Whisper это открытая модель: она пытается расшифровать всё.

Speech-to-Phrase строит модель под конкретную установку: она знает ваши устройства, их имена и комнаты, поэтому реже ошибается на коротких командах. Плата за скорость это узость: добавить молоко в список покупок через такую модель не получится.

Отдельно про русский язык. В документации дополнения Whisper для русского указана не эта модель, а GigaAM через движок onnx-asr: она быстрее на том же железе и лучше разбирает русскую речь. Поэтому выбор для дома не сводится к паре «Speech-to-Phrase или Whisper».

Практичная стратегия для квартиры: начать со Speech-to-Phrase и держать Whisper выключенным, пока железо слабое. Включать Whisper стоит тогда, когда появилась настоящая потребность в свободных фразах, и вместе с ней понимание, что процессор придётся обновить. Перед покупкой железа проверьте список поддерживаемых языков у Speech-to-Phrase: модель обучается под язык, и доступна она не для всех.

Синтез ответа: Piper и качество голоса

За голос ассистента отвечает Piper, быстрый нейросетевой синтез речи. По данным документации Home Assistant, на Raspberry Pi 4 с моделями среднего качества он генерирует примерно 1,6 секунды речи за секунду работы. Этого достаточно, чтобы ответы не отставали от разговора.

Piper поддерживает много языков, но качество голосов отличается. Перед тем как строить сценарии с озвучкой, послушайте доступные голоса: голос звучит в квартире годами, и неудачный тембр это реальная причина отказаться от голосового управления.

Синтез пригодится не только для диалога. Через Piper можно озвучивать события: сообщить о протечке, напомнить закрыть окно, произнести температуру в детской. Если озвучка не нужна, её отключают: Assist продолжит работать, а ответы будут появляться текстом на панели или в приложении.

Wake word: как ассистент понимает, что к нему обращаются

Слово пробуждения это главная техническая ловушка локального голоса. Микрофон постоянно слышит разговоры, музыку и телевизор, поэтому нужен механизм, который отличает обращение от фонового шума.

В Home Assistant за это отвечают три движка. openWakeWord работает на сервере и слушает поток с сателлита. microWakeWord работает прямо на устройстве, например на ESP32-S3 или на телефоне с приложением Home Assistant, и экономит батарею. Porcupine это сторонний движок с готовыми словами.

Ограничение, о котором нужно знать до покупки: по документации Home Assistant openWakeWord пока работает только с английскими словами пробуждения. Причина не в лени разработчиков, а в нехватке многоголосых датасетов для других языков. Готовые слова у фирменной колонки тоже английские, например Okay Nabu или Hey Jarvis.

На практике это значит, что управлять домом по-русски Assist умеет, а будить его русским словом из коробки не получится. Варианты такие: обучить модель слова пробуждения самостоятельно, использовать кнопку вместо голосового активатора, взять телефон с приложением или собрать сценарий с аналоговым телефоном, который слушает только после снятия трубки.

Что Assist понимает без обучения

Встроенный разбор команд основан на интентах, то есть заранее описанных намерениях. Это не языковая модель: система сопоставляет сказанную фразу с шаблоном и выполняет действие.

Из коробки Assist понимает управление светом, выключателями, розетками, климатом, шторами и медиаплеерами, а также таймеры, списки покупок и вопросы о датчиках. Полный список зависит от языка: предложения для русского в проекте есть, но их покрытие отличается от английского.

Чтобы ассистент видел устройство, его нужно открыть для голосового управления в разделе голосовых ассистентов. Открывать всё подряд не стоит: чем больше сущностей, тем выше шанс, что команда попадёт не туда. Дальше наведите порядок в именах: если лампа называется light_2, ассистент не поймёт вас, а «Лампа в спальне» с алиасом «ночник» сработает с первого раза. И назначьте устройствам области, тогда заработают команды вида «выключи свет везде».

Стандартных предложений хватает не всегда. Если вы говорите «сделай вечер» вместо «включи сценарий вечер», Assist не догадается, пока вы не добавите свои фразы.

Есть два пути. Intent scripts создаются через интерфейс: вы задаёте фразы, слоты и действие. Файлы предложений в папке custom_sentences описывают шаблоны на YAML. Оба способа работают локально.

Практический приём: начинайте с одной команды, которую вы произносите каждый день, проверьте её и только потом расширяйте список. Слоты позволяют вытащить из фразы значение: шаблон «поставь температуру {temperature} градусов» передаст число в действие, и одна фраза закроет десятки вариантов.

Русский язык в Assist: что уже работает

Русский язык присутствует в проекте предложений Home Assistant, поэтому базовые команды распознаются и обрабатываются. Управление светом, розетками и климатом по-русски возможно без облака.

Слабое место не в разборе команд, а в распознавании речи. Whisper многоязычный, но для языков с меньшим объёмом обучающих данных качество ниже, и документация Home Assistant предупреждает: для таких языков нужны более крупные модели и более мощное железо. Русский относится именно к этой группе.

Второе слабое место это слово пробуждения, третье это голоса Piper: они есть, но их стоит оценить на слух заранее. Честный итог: полностью локальный русский голос возможен, но требует терпения и железа.

Микрофон и сателлиты: от телефона до ESP32

Качество звука с микрофона влияет на распознавание сильнее, чем модель. Сателлит с одним микрофоном и без обработки звука слышит хуже, чем устройство с двумя микрофонами и чипом шумоподавления.

Самый доступный вариант это телефон с приложением Home Assistant. Он уже умеет слушать, а на Android поддерживается распознавание слова пробуждения прямо на устройстве.

Следующий шаг это колонка Voice Preview Edition. Внутри ESP32-S3 с 16 МБ флеш-памяти и 8 МБ PSRAM, аудиопроцессор XMOS XU316 с эхоподавлением и шумоподавлением, два микрофона и физический выключатель микрофонов. Устройство сделано под Assist и настраивается мастером.

Для самодельщиков есть ESP32-S3-BOX-3 и дешёвые сателлиты на ESP32, которые прошиваются через ESPHome и передают звук на сервер. Такой сателлит умеет только слушать и говорить, вся обработка остаётся на Home Assistant. Предельное число сателлитов задаёт не колонка, а процессор сервера: каждая фраза обрабатывается на нём. На Raspberry Pi 4 с Whisper одна фраза занимает около восьми секунд, поэтому одновременные запросы встанут в очередь; со Speech-to-Phrase задержка заметно меньше. Отдельный сценарий это аналоговый телефон: он слушает только после снятия трубки, поэтому ложные срабатывания исключены.

LLM вместо встроенного разбора команд

Встроенные интенты понимают ограниченный набор фраз. Языковая модель понимает свободную речь, но работает иначе: она видит список доступных устройств и решает, что с ними сделать.

Подключить можно облачные модели или локальную модель на своём железе. Облако даёт лучшее качество и требует отправки текста запроса наружу, локальная модель сохраняет приватность, но требует мощного компьютера.

Документация Home Assistant называет использование языковых моделей в умном доме экспериментальным. Причина в предсказуемости: модель может неверно понять команду или предложить действие, которое вы не имели в виду. Для света это мелочь, для замка или котла уже нет. Разумный подход такой: встроенные интенты для безопасности и важных устройств, языковая модель для сложных фраз и мелочей. В настройках ассистента её можно указать как основную или как запасной вариант, когда интенты не сработали.

Частые вопросы

Можно ли использовать Assist полностью без интернета?

Да, при локальном конвейере аудио и команды не покидают вашу сеть. Нужно, чтобы распознавание и синтез работали локально, а сателлит был связан с сервером.

Какой мини-ПК нужен для локального распознавания речи?

Документация Home Assistant советует для Whisper процессор мощнее Raspberry Pi: на мини-ПК класса Intel NUC та же модель укладывается в секунду, а на Raspberry Pi 4 уходит около восьми. Для более крупных моделей нужен ещё более мощный процессор.

Работает ли Assist на русском языке?

Управление домом по-русски работает, предложения для русского языка в проекте есть. Качество локального распознавания зависит от модели и железа, а готового русского слова пробуждения в стандартной поставке нет.

Чем Speech-to-Phrase отличается от Whisper?

Speech-to-Phrase распознаёт только фразы управления домом, зато быстро и на слабом железе. Whisper распознаёт свободную речь, но требует мощного процессора и на Raspberry Pi 4 обрабатывает фразу около восьми секунд. Для русского языка документация дополнения советует ни то, ни другое, а модель GigaAM через движок onnx-asr.

Нужно ли покупать Voice Preview Edition или хватит телефона?

Для первых опытов хватит телефона с приложением Home Assistant. Отдельная колонка нужна, когда вы хотите управлять голосом из любой комнаты без телефона в руке.

Почему ассистент не понимает команду, которую я говорю?

Проверьте по порядку: слышит ли вас микрофон, правильно ли распознан текст, открыто ли устройство для голосового управления, совпадает ли название с произносимым. Режим отладки голосового конвейера в Home Assistant показывает, на каком шаге всё ломается.

Куда идти дальше

Начните с малого: телефон как сателлит, Speech-to-Phrase для распознавания, Piper для ответов и десяток устройств с понятными именами. Такой набор уже даёт рабочий голосовой контроль без облака и без дорогого железа.

Дальше расширяйте то место, которое мешает больше всего: не хватает свободных фраз, подключайте Whisper, неудобно без слова пробуждения, выбирайте подходящий сателлит. Для сравнения с облачным подходом посмотрите разбор Home Assistant и Алиса.