Описание проекта
Vis-a-Vis - новое измерение живого общения!
Цель проекта: создание совершенно новой платформы для знакомств/встреч/создания места ведения переговоров. Раньше подобных проектов не создавалось.
Пользователи путешествуют по комнатам, общаются в реальном времени путём передачи видео и аудио потоков. Для того, чтобы процесс был более разнообразным, включены такие игровые элементы, как набор баллов путём сбора игровых элементов в разных комнатах/наложение эффектов на лица в процессе общения.
Больше скриншотов:
Распознавание образов здесь применяется для того, чтобы разнообразить процесс общения, а так же в качестве элемента управления.
На текущий момент в приложении применяется машинное обучение (Constrained Local Models) в следующем контексте:
- для того, чтобы увидеть другого пользователя и набрать баллы необходимо при подлёте к нему улыбнуться.
- сейчас разрабатывается состязательный элемент, когда пользователям необходимо выражая эмоции зажигать элементы сцены.
- на текущем этапе внедряются нейронные сети для управления ботами-охотниками.
Пример комнаты, в которой на пользователей нападают враги, от которых нужно спастись:
Приложение создано с использованием технологий:
- библиотеки Three.js
- технологии WebRTC для передачи Видео и Аудио потоков.
- Node.js сервер.
Луч, который человек может активиросать своей улыбкой, который заставляет окружающие элемены подсвечиваться:
Для распознавания лиц используются методы Машинного Обучения, в частности алгоритм Constrained Local Models и библиотеки clmtrackr.
!Приложение находится в процессе интенсивной разработки с начала хакатона, потому, что-то постоянно обновляется/добавляется и может быть не отражено в видео!
Состав команды:
- Игорь Токарев, Разработчик и создатель идеи
Комментарии
Игорь, а как запустить, не подскажете? Вы не могли бы добавить инструкцию по установке и настройке?
И вы не могли бы чуть более подробно раскрыть чем практическую применимость проекта?
И ещё вопрос об алгоритмах? А где здесь применяются нейронные сети. Я почитал описание алгоритма по ссылке, но в его основу положены старые добрые SVM, насколько я понял.
Привет! Не думал, что будет такой ажиотаж.
Большой практической применимости нету. Это и не требуется, приложение же на знакомства рассчитано, контекст развлекательный поэтому.
Нейронки сейчас не применены в распознавании потому, что CLM отрабатывает на JS в онлайне быстрее. У нас очень много расточительных технологий одновременно юзается - браузерное 3Д, браузерный WebRTC, поэтому работает CLM, как один из методов машинного обучения применяемый как раз для распознавания лиц.
Нейронки будут в дальнейшем для распознавания рук (тоже развлекательная вещь) и для ботов.
Сейчас установить вряд ли выйдет, т.к. для передачи потоковых видео и аудио требуется обязательно сервер с SSL-сертификатом. Ждать только, когда я выложу нестыдную версию сюда.
Т.к. проект в результате хочу сделать глобальным, потому и решил здесь поучаствовать, может денег удастся на разработку/продвижение небольшое выиграть.
А как вы обучали вашу модель бота-охотника?
Это дело сейчас только делается! На текущем этапе используется распознавание эмоций человека.
В онлайне где-то можно покрутить эту штуку?
Привет! Да, скоро выложу ссылочку на тест.