Библиотека паттернов – результат исследований Panasonic и SVL - Моя газета

Библиотека паттернов – результат исследований Panasonic и SVL

Опубликовано в Четверг, 29-го Октября, 2020.
Вы можете следить за любыми ответами на эту запись через RSS 2.0 ленту и оставлять свои комментарии в конце статьи.
Рубрика: Моя газета > Жизнь > Технологии > Библиотека паттернов – результат исследований Panasonic и SVL

Созданная ими библиотека паттернов сможет использоваться в системах умного дома на базе искусственного интеллекта

Сделать умный дом по-настоящему умным и помочь ему адекватно воспринимать действия своих хозяев помогут исследования японской компании Panasonic и лаборатории знаменитого Стэндфордского университета – Stanford Vision and Learning Lab (SVL), специализирующейся на разработках в области компьютерного зрения, искусственного интеллекта и роботизации. В середине октября стороны представили и открыли для разработчиков первую и пока крупнейшую (по состоянию на 15 октября 2020 г.) в мире библиотеку Home Action Genome – собрание мультимодальных образцов бытового поведения людей. Кроме того, Panasonic и SVL запустили конкурс по разработке компьютерных алгоритмов, позволяющих точно распознавать действия людей, на базе новой библиотеки.

Одной из главных проблем в развитии систем умного дома до сих пор оставалось обучение машин пониманию и адекватной трактовке всего, что происходит перед ними. Существующие базы данных были небольшими и состояли преимущественно из аудио и картинок.

Новая библиотека содержит обширный набор изображений и количественных показателей, дополненных данными с многочисленных сенсоров, в т.ч. видео и тепловых, которые описывают ситуации, ежедневно происходящие практически в каждом доме. В общей сложности библиотека включает 3500 сценариев действий, которые могут выполняться разными людьми в разных местах. Все действия разделены на 70 категорий. Каждый из таких наборов содержит аннотацию, однозначно обозначающую происходящее.

Например, чтобы определить, что делает человек на изображении, система учитывает данные:

видеокамеры;
инфракрасного датчика (где конкретно находится человек, какие части его тела в данный момент теплее, находятся в движении);
микрофона (сопровождается ли действие звуком и насколько громким);
RGB-аналитики (данные об интенсивности для красного, зеленого и синего видимого света);
датчика освещенности (наличие и интенсивность внутреннего освещения в комнате);
гироскопических датчиков и акселерометров (данные об угловой скорости и ускорении человека/ его рук);
геомагнитного датчика.

Проанализировав и сравнив полученную информацию с существующими сценариями, умный дом сможет однозначно определить, что его хозяин бреется, и сделать соответствующий вывод: например, потом он пойдет пить утренний кофе, а значит, нужно включить кофемашину.

Или другой пример, описывающий непосредственный процесс мышления умного дома. Система определяет не только то, что человек в принципе находится в прачечной, но и его конкретные операции – как он подошел к стиральной машине, положил в нее белье, затем достал его. По сумме всех этих операций она сможет однозначно заключить, что еженедельная стирка закончена, и следует активировать следующий алгоритм. Например, через 10 минут выключить свет и включить вентиляцию в прачечной.

Разработчики систем искусственного интеллекта смогут воспользоваться библиотекой Panasonic и SVL для создания собственных AI-алгоритмов и решений, облегчающих жизнь и быт людей, что является основополагающей миссией корпорации Panasonic.

Кроме того, SVL разработала и представила программу видеоматериалов для студентов и разработчиков систем машинного зрения и т.п. https://camp-workshop.stanford.edu/

Одно из наиболее интересных выступлений, объясняющих актуальность подобной библиотеки действий, – доклад Ивана Лаптева, старшего исследователя центра INRIA Paris и главы учёного совета VisionLabs, доступен по ссылке