Как стать автором
Обновить

Станция Миди и голосовое управление Zigbee-устройствами без интернета. История разработки

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров28K
Всего голосов 53: ↑49 и ↓4+45
Комментарии78

Комментарии 78

Сразу вопрос, если умные устройства добавлены в умный дом через интеграцию с локальным home assistant то как будет локальность работать? Или не будет? Или это только для устройств подключенных непосредственно к станции?

Станция выступает Zigbee-хабом и управляет устройствами, подключенными к ней.

Спасибо, понятно, значит пока останусь на мини, смысла менять нет

Подождите, не совсем понял. Устройства Aqara, которые я покупаю преимущественно, не умеют обновляться если подключены напрямую к Яндекс станции. Получается что устройства подключены к Яндекс станции через родной хаб и учётку Aqara имеют урезанный функционал что ли?

Не до конца понял вопрос. Станция может работать с другими устройствами двумя разными способами. 1. Выступать для них зигби-хабом, это позволяет работать локально. 2. Отправлять команды в «хаб» производителя через интернет по wifi (тут, кажется, очевидно, почему локальность невозможна). Разные устройства могут поддерживать разные способы.

Я то думал что чужой хаб и учётка нужны только для поиска датчика, потом, после привязки датчика уже Яндекс станция будет взаимодействовать напрямую.

2. Отправлять команды в «хаб» производителя через интернет по wifi

С Zeegbe хабом от Яндекса будет та же самая история, что локальность не будет работаеть если Zeegbe-устройство подключено не на прямую к колонке? Речь про сценарий, когда из-за стен в квартире, Zeegbe-устройство напрямую не добивает стабильно до Станции и приходится его подключить через дополнительный хаб. Голосовое управление таким устройством будет невозможно при отключении интернета?

Хорошая статья.

А расскажите, пожалуйста, об особенностях и перспективах встраивания голосовой рекламы в ваши умные устройства. Ну, чтобы сразу знать, что не покупать.

Да, пожалуйста. Я не против подписки, но за неотключаемую рекламу однозначно придётся выкинуть колонки и страдать с соносом.

«Без интернета» — это довольно условно, да? Без интернета и Яндекс-учётки её всё так же не включить и не настроить?
Или с этим тоже есть подвижки?

Конечно, для большинства возможностей интернет нужен. В том числе для того, чтобы всё настроить и начать синхронизировать. Лично для меня главное тут то, что теперь можно голосом включить свет на zigbee-лампочке в комнате, не дожидаясь ответа удалённого сервера. Даже хороший интернет вносил задержки.

А даже если и включить/настроить по одноразовой учётке, можно ли потом этим устройством пользоваться как источником команд для Home Assistant хотя бы лет 5, заблокировав ей выход в интернет на роутере?

Вопрос на для троллинга, если ответ положительный, я бы купил прямо сегодня.

То есть вот тут:

Голосовое управление умным домом — без интернета

Нас опять обманули?

Резонно. Чтобы никого не путать, указал явным образом, что речь про Zigbee-устройства.

Если обманули, но не совсем, то это не ложь, а маркетинговый ход. Управлять умным домом без интернета можно, но не всем и не всегда. Могли бы сделать умный дом без интернета по подписке. Внёс предоплату за год и дом весь твой на это время и такой же умный как и с интернетом.

еще было бы круче, если бы сделали локальную интеграцию с HA в обе стороны

Наша надежда — всё так же Home Assistant Assist. Вроде все компоненты уже есть, но неясно, что там с русским.

Если готовы командовать по-английски, посмотрите ситуацию с Siri. Там часть запросов на некоторых языках работает локально и offline. Можно купить Homepod и выставить нужные ручки в HomeKit / Siri

А вы не моглибы подсказать в какую сторону смотреть чтоб подключить к ассисту микрофон\колонки ? Или идеальный микрофон это яндекс колонка , есть midi , только распоковал .

Собран нормальный ассист, STT (Whisper) - LLM (Mixtral 7х8) - TTS (Silero).
Можно теперь говорить (общаться по русски, комфортно, любые темы), чуть позже добавлю функции для управления домом, основная проблема что общаться удается только в приложении HA (телефон) и то что получил в результате общения не скопировать никуда, там даже текст не выделяется.Хоть бы копию общения в телегу как то слать.

Я пока не понимаю как воткнуть в HA(виртуалка) колонки (ну тут наверно понятно, чтото типа snapcast\chromecast ??? ) и микрофон (вот, как отдавать команды ? Rhasspy и что ? как микрофон физически сделать ?
или можно както яндекс колонки локально использовать как умный микрофон, без отсылки к серверам\нейросетям яндекса .

PS . Для запуска своих асистентов в вслучае с HA, на нейросетях достаточно видеокарты GTX1650 LP - она потянет распознавание голоса и генерацию несложных ответов, возможно работу с функциями.

после того как сделают памяти 4 гига и диск на гиг и все это сможет распознавать голос и синтезировать голос, тогда можно брать.

А какие zigbee-устройства, только те что Яндекс "видит"?

Вроде в этой модели сильно расширили поддержку устройств, будем посмотреть.

Вот всё говорят нейросеть, нейросеть.. Вы как звук -то в текст преобразуете? Что именно является входными данными для поиска по базе текста? Понятно, что не сам звук, а его преобразование, например в спектр, в вейвлет, в другую какую-то инвариантную к особенностям произношения форму. Вот это интересно, расскажете?

Новая станция также как Макс-мини-лайт спамит сотнями тысяч DNS запросов в домашней сети?

Серьезно, среди огромного числа устройств в доме, умного дома и 24/7 работающего ПК, это самые активное устройство в доме. А если дома таких три, то это просто швах.


Частота запросов такая, что на недельной статистике выглядит, что интернетом в семье пользуется только Алиса. Никакие там айфоны, андроиды, планшеты, вебсервера, виртуальные машины, торренты, умные дома, "шпионящие" телевизоры, стиральные машинки, кино,ютуб, тв,игры-ps это все - пфф. Даже рядом не лежало с жадностью Алисы.

Что там у вас за бизнес-продуктовые-технические задачи, что нужно слать метрики по несколько раз в секунду 24/7 ?

Адреса
quasar.yandex.net
report(1).appmetrika.yandex.net
report.appmetrica.webvisor.com

Эти запросы можно блокировать AdGuard home, можно не блокировать. На работоспособность не влияет, и на частоту запросов - тоже. Но колонки будут туда слать данные непрерывно.

Видел в сети вопросы от пользователей по данной теме, Яндекса только игнор.

Можно пожалуйста отключить вот это всё?

Под рукой нет скриншота, но выглядит это очень не-здорово, проверить может любой, у кого установлен дома Adguard Home на роутере. Смотрел на Алисе у друзей тоже самое.

Понимаю, что часть команд распознаются через облако, но статистика показывает что это независимо от звуков в доме, а название доменов - о том что это какая-то аналитика, которая вот мне лично вообще не нужна в таком количестве, особенно в диапазоне 2.4ГГц

Правильно понимаю, что изначально эти запросы были заблокированы на роутере? То есть перезапросы начались после блокировки. Если да, то рекомендую попробовать так: снять блокировку и обязательно подождать некоторое время.

Нет, порядок такой - сначала видим гигантское количество запросов, потом блокируем. Списать на то что это блокировщик виноват - не получится.

Напишите нам в поддержку, пожалуйста, через приложение Умный дом. В обычной ситуации такого быть не должно.

А вы с помощью какого ПО это определяте? У вас прошивка роутера это позволяет или через комп?

нет ли готовой инструкции как посмотреть и заблокировать эти запросы на кинетике?

https://dartraiden.github.io/AdGuard-Home-Keenetic/

Протестировал еще раз, если запросы не блокировать, то шторма и ретрансмитов от них меньше, алиса уходит на второе место по частоте DNS запросов, после десктопа.
Конечно хотелось бы поменьше метрик-аналитик, побольше полезного.
Хуже всего если у вас 3+ колонки в 2,4G

Сделайте микрофон для home assistant. Приложение Дом Яндекса, это не просто вендорлок, а убогое убожество.

И интеграцию с нормальной акустикой, а не эти пищалки в пластике.

да, этот плагин стоит конечно. Я про микрофон. Сейчас кто хочет использовать опенсорсных асистентов колхозят что-то такое
https://www.seeedstudio.com/ReSpeaker-Mic-Array-Far-field-w-7-PDM-Microphone-p-2719.html

Яндекс мог бы сделать микрофон в красивом корпусе. Говоришь в микрофон, он потом шлёт распознанный текст по mqtt, а там уже HA разберётся что с этим делать.

Сейчас это работает через реверс-инжиниринг Станции и отвалится в любой момент или будет просить подписку 360, потому что это похоже на на бизнес-использование.

А что не убогое убожество? HA я не смог настроить чтобы красиво было.

Я не про внешний вид, а про фичи. Всё примитивное. Автоматизации на уровне "включилось это, включи ещё и то". Поддержка устройств как у эпл. Будет работать только из списка производителя.

Для HA можно найти много чего стороннего, например
https://community.home-assistant.io/t/homeplay-a-wall-tablet-dashboard-update-version-2-2-0-aug-2023/551973

У яндекса смог найти только настройку - большие или маленькие карточки.

Открыл УДЯ, выскочила видео-реклама новой кононки на весь экран. С этими людьми с нетрадиционной ориентацией никаких дел иметь не хочется.

О, ещё посреди моих выключателей воткнули баннер "ТВ станция с алисой"

Здравствуйте! Я из Яндекса. Ваше замечание записал и передал команде, ребята подумают над реализацией микрофона и интеграцией с внешней акустикой.

Лично для меня уход на homeassistant вызван не столько тем, что там всё без интернета работает и вайфай и зигби и что угодно и как угодно. А тем, что там здраво продумана система ценариев. И они все локально работают. Главная Килер фича - это отслеживать в рилтайме состояния устройств и на этом строить сценарии, так ещё и с опцией запомнить как было до того, как сценарий начал работать.

А то что без интернета сможет Алиса ну это второстепенно. Особенно для людей которые на удалёнке работают, у них интернет есть всегда. А когда его нет, эти 10 минут ненастья спокойно проходят за чашкой чая. Первостепенно на мой взгляд - любые сценарии в локальной памяти хранить, а в облако дублировать. Особенно те, где голос не нужен вообще. И возможность хранить атрибуты - это просто пушка была бы.

А из супер фишек - надо Гугл корел забрать и управлять жестами через камеру. Всё руки не дойдут сделать. Вот в Алису встройте камеру и пусть жестами можно будет локально что угодно делать.

Я правильно понимаю, что наконец-тотЯндекс.Станцию можно достать из коробки, поставить в избушке в тайге, где инета нет и немпрелвидиться и она сможет работать как переводчик голоса в Zigbee команды?

Или как обычно - вынь и положь инет, яндекс учётку,скан паспорта, номер мобильного?

Настройка нужна, конечно. Среди прочего нужно ведь ещё и конфиг умного дома подтянуть. Но, в целом, я не рекомендую брать устройство в глухую тайгу: большинство возможностей всё равно не будет доступно.

Именно, даже с инетом но без подписки работает только 3 телеканала. Починить проблемы с громкостью уведомлений не могут больше 3 лет... В принципе можно не рекомендосювать брать устройс во потому что даже заявленные функции работают плохо

Подскажите, всё же касательно поддержки устройств Zigbee, можно будет управлять только устройствами от Яндекс? Что будет с теми Zigbee устройствами что подключены, к примеру, через API-интерфейс того же Xiaomi, правильно понимаю, они за бортом?

Нужен Zigbee, но не обязательно от Яндекса. Можно вот тут посмотреть https://yandex.ru/alice/support/station/zigbee.html#supported

Если устройство подключено не по Zigbee напрямую, а через облако производителя, то такому устройству нужен интернет, да.

Теперь получается, те устройства что ранее работали на облачных сервисах производителя, можно перепривязать к колонке (реч о тех что в указанном списке) для локальной работы.

Это конечно плюс, для тех кому лень, либо не хватает навыков поднять home assistant 😀

Было еще тогда супер, иметь на борту колонки BLE, для полноценного мониторинга дома, от протечек, влажности и т.д.

Здравствуйте! Я из Яндекса. Верно, со списком поддерживаемых устройств можно ознакомиться на странице Справки: https://clck.ru/34XEgy

Устройства таких же типов (умные лампочки, датчики, выключатели, розетки) будут работать со Станцией 2 и Станцией Макс с ZigBee, если они поддерживают подключение через протокол Zigbee. Однако некоторые производители могут ограничить работу своих устройств для спецификации своих навыков. В будущем список поддерживаемых устройств будет постоянно обновляться и расширяться.

Что касается голосового управления устройствами Zigbee, без подключения к интернету колонка не сможет обработать и передать команду умному устройству через хаб.
При этом для работы умных девайсов достаточно сети Zigbee. Если раздать интернет только на Станцию с Zigbee или Хаб, то все остальные устройства будут управляться и работать. Таким образом, больше не понадобится заново подключать к сети каждое устройство умного дома при трудностях с сетью Wi-Fi.
В то же время сейчас доступны сценарии без интернета, которые активируются по Датчику. В локальных сценариях сработают только устройства, напрямую подключённые к Хабу Яндекса для устройств или Станциям с Zigbee.

Правильно ли я понимаю, что вы бы хотели видеть в умном доме Яндекса колонки с Bluetooth Low Energy?

Касательно Bluetooth Low Energy ( BLE ) - да, все верно поняли, так как, есть куча всяких датчиков которые так же используются в сценариях ( датчики климата, температуры, утечки, и проечее).

На сколько я знаю, имеются контроллеры (SoC) где в одном корпусе реализован Zigbee и BLE, например от компании Telink.

Если отвязать от родного облака то как минимум теряешь возможность обновлять устройство, а как максимум ещё и некоторый функционал. Тут уж всё зависит от того как реализовал функционал сам производитель устройства.

Простите, что ввели вас в заблуждение. Голосовое управление без интернета недоступно на всех совместимых хабах Яндекса, кроме новой Станции Миди.

Станция Миди может выступать в качестве Zigbee-хаба и управлять совместимыми Zigbee-устройствами напрямую и с помощью сценариев.


Если пропадёт интернет, вы всё равно сможете включать и выключать устройства, управлять цветом и яркостью лампочек, запускать сценарии, если они состоят из Zigbee-устройств, с помощью Алисы.


Это работает благодаря тому, что:

1. Zigbee-устройства работают внутри собственной сети, независимой от Wi-Fi.

2. Алиса в Станции Миди хранит команды умного дома в памяти, ей не нужно обращаться к серверам Яндекса, чтобы понять, что её просят выключить свет.

Zigbee-устройства могут быть подключены к разным совместимым хабам от Яндекса, но голосовая команда для успешного выполнения должна отдаваться Станции Миди.


Подробнее рассказали о новой возможности в Справке.

Почему не пишете, что без интернета будут управляться устройства, только напрямую подключенные к колонке? Т.е если в сети две колонки с зигби, а устройства подключены например на Макс, то без интернета управлять не будет, хоть Оби колонки заведены в один дом. И сразу вопрос, зачем это ограничение?

Почему же. Должно работать.

В журнале Тинькофф вышла статья, где они утверждают, что только подключенные к колонке устройства будут работать без интернета.

Да, к колонке с хабом устройство подключено должно быть. Но речь же шла про условно две разные колонки с хабом, если я правильно понял.

Можно спрошу так, у меня есть Яндекс хаб с подключенным к нему зигби устройствами, и я покупаю станцию миди. При отключении интернета смогу ли голосовыми командами, отданными станции миди управлять устройствами которые подключены к Яндекс хабу?

Да, должно получиться.

Цены бы ей не было если бы могла http или mqtt запросы отправлять на локальный сервер умного дома. И Алисе внутри хранить сценарии в стиле nodered на такую-то команду такой запрос отправлять.. А там уже сервер уд произведет нужные операции

Почему вы не добавили никакого нормального выхода на нормальный аудио девайс? Только в мини и в самой дорогой есть AUX

Ничего тут волшебного не случилось. Иногда сервер нужен для наработки и локального распознавания скорее выбора из наклмленого. И про рекламу тоже понятно. Прилетит со временем.

Лучше бы добавили возможность указывать в условиях сценария несколько устройств. Например, "если температура > X и открылась дверь, то...". Подобная возможность должна быть изначально и всё приличные системы умного дома её имеют. В итоге я могу создавать примитивные сценарии вида "нажал кнопку - включилась лампочка". Скорее всего придется перейти на другие системы.

К сожалению, я не знал о такой особенности при выборе :(

Вендорлок он всегда такой, с неизбежным разочарованием рано или поздно.

Поддерживаю! Очень не хватает сложных условий.

Интересное устройство получилось, жалко что нет AUX выхода, так бы взял на замену Мини 2. А может подскажете по Мини 2, у нее есть AUX выход, и у меня сценарий использования такой: для управления УД и фоновой музыки использую встроенный динамик, когда хочется послушать нормально, громко музыку подключаю в разъем кабель от усилителя (тоже включается по команде от WiFi розетки) с колонками по 120Вт и слушаю на нем. Так вот, сильно раздражает дергать туда-сюда кабель, нельзя ли добавить Алисе команду "переключи звук на усилитель", чтобы при этом отключался динамик и активировался AUX выход?

я для этого использую HA и 2 плагина

https://github.com/AlexxIT/YandexStation#стриминг-музыки
https://github.com/nagyrobi/home-assistant-custom-components-linkplay

Первый заставляет алису стримить музыку в linkplay,

Linkplay подключен к Denon, заведён в HA. Глючно, но работает. Есть автоматизациия, которая перезапускает воспроизведение на каждом треке и всё становится хорошо.

Тоже бесило, как работает AUX. Сейчас и такого нет.

Очень-очень круто! Но еще поддержку WiFi-устройств в оффлайн сделайте пожалуйста? А то вот есть у меня ZigBee лампочка и ZigBee датчик влажности, а также WiFi-умная розетка, через которую включается вытяжка. Я очень рад, что могу лампочку включить без Интернета, это на самом деле прямо здорово, но грустно, что вытяжка без того же Интернета не включится если в ванной влажность выросла.

Локальное управление без интернета - это то, что нужно.
Непонятно только, почему не добавили IR-датчиков для управления телевизором, кондиционером и пр.
ИК-светодиод - это не такая уж дорогая деталь, нет?

Только макс взял, а в ней в оффлайне что работает кроме блутус ? никакого Room Correction в максе нет, зря переплатил? может надо было миди брать) Насколько железо отличается?

спасибо за ответ, в обновлениях прошивки не ожидается голос? или это ограничения железа?

Подскажите, в паре колонки когда-нибудь смогут стабильно играть или пока не выходит? Я раз в год собираю стереопару из двух максов, которая мне через час работы начинает рассказывать про прюотерю соединения с другой колонкой.

Данные изменения касаются только Станции Миди или на Станцию 2 тоже обновление прилетит? или на второй нет таких ресурсов?

Тимур (и его команда)!

Перечень поддерживаемых девайсов ограничен набором от Aqara? Или есть поддержка экосистемы Tuya?

Сколько всего устройств поддерживает ваш условный сс2652p от Texas Instruments? Или какой-то другой контроллер используете?

Функция распознавания голоса разных пользователей тоже работает в оффлайне?

Если, например, две колонки - одна лайт (или любая другая) и вторая - миди в одной сети, то в офлайне лайт тоже будет распознавать голос через миди или только миди будет работать?

Скорее всего только Миди будет распознавать. https://yandex.ru/alice/support/station/zigbee-offline.html Чисто теоретически, если нет сети, то лайт с миди вообще никак не встретится.

Оно реально локально распознает ВЕСЬ русский язык, а не только ключевые фразы для умного дома типа "включи - выключи"? Тогда это очень круто!

Наткнулся тут в интернетах на мнение, что YaGPT 2:

1) Использует GPT2

2) Подключена к серверам OpenAI

Такое вот причудливое толкование названия.

у меня нашелся огромный минус в этой станции с работой сценариев. Сценарий по голосу не может работать по фразе заготовке, такой функции нет. зато срабатывает от любого звука голоса в заданное время и день...
И второй момент. Это когда делаешь автоматизацию по фразе заготовке "Я дома", "Я ушел", но колонка не реагирует на данную фразу если к ней не обратиться по "Имени"
вот ты пришел домой и говоришь всем домашним "Я дома" и сценарий настроен на эту фразу. все тебя приветствуют а станция бездействует, и нужно ей повторить "Алиса, я дома" и только тогда она реагирует и выполняет весь сценарий.

Фраза активации она чуть ли не обязательна везде. но вы може выпилить подобное в rhasspy помоему (ассистент в home assistant) .

Зарегистрируйтесь на Хабре, чтобы оставить комментарий