Стиль
Репост Сотрудник Netflix разработал алгоритм для поиска поцелуев в кино
Стиль
Репост Сотрудник Netflix разработал алгоритм для поиска поцелуев в кино
Репост
Сотрудник Netflix разработал алгоритм для поиска поцелуев в кино
Кадр из фильма «Будка поцелуев»
© Netflix
Разработчик из Стэнфордского университета и старший аналитик компании Netflix Амир Зиай показал нейросетям более 600 сцен из голливудских фильмов, чтобы получить алгоритм, способный распознавать поцелуи.

Амир Зиай использовал в своей работе 263 сцены с поцелуями и 363 сцены без поцелуев длительностью от 10 секунд до 2 минут. Препринт исследования опубликован на сайте arXiv. Система, которую применил разработчик для обучения алгоритма, состоит из двух частей. Бинарный классификатор со сверточными сетями ResNet и VGG анализирует секундные отрывки по видео и аудио. Сегментатор использует данные о вероятности наличия поцелуя на каждом отрывке и распределяет их так, чтобы они не повторялись. Вместе они выделяют из видеофрагментов отдельные сцены с поцелуями с точностью до 95%.

Зиай затеял исследование из личного интереса, а не для какой-либо конкретной задачи в Netflix или по просьбе Стенфордского университета. Возможно, работа может показаться бесполезной, но она важна. Говоря более отвлеченно, алгоритм Зиая показывает, насколько продвинулись средства анализа видеоматериала. Если объединить их с нуждами государств, можно получить антиутопию Джорджа Оруэлла. Фактически, стэнфордский разработчик своим проектом продемонстрировал еще один пример ситуации, когда людям стоит задуматься о негативных последствиях технологического прорыва.

Кадр из фильма «Будка поцелуев»
© Netflix

Однако эксперты реагируют на разработку спокойно, отмечая, что алгоритм по поиску поцелуев продемонстрировал, как современные технологии помогают структурировать базы видеороликов. Кроме того, изобретение Амира Зиая пригодится стриминговым видеосервисам для классификации сцен и их озвучивания для людей с нарушением зрения. Также новую функцию можно использовать в соцсетях, особенно в Instagram и TikTok, для распознавания излишне откровенных кадров.