Ключевые выводы
- Zoom заявила, что будет использовать ИИ для оценки настроения или уровня вовлеченности пользователя.
- Группы по правам человека просят Zoom пересмотреть свой план из-за проблем с конфиденциальностью и безопасностью данных.
- Некоторые компании также используют программное обеспечение для обнаружения эмоций во время интервью, чтобы оценить, обращает ли внимание пользователь.
Растущее использование искусственного интеллекта (ИИ) для отслеживания человеческих эмоций вызывает озабоченность по поводу конфиденциальности.
Правозащитные организации просят Zoom замедлить реализацию плана по внедрению искусственного интеллекта, анализирующего эмоции, в свое программное обеспечение для видеоконференций. Сообщается, что компания заявила, что будет использовать ИИ для оценки настроения или уровня вовлеченности пользователя.
«Эксперты признают, что анализ эмоций не работает», - написал консорциум правозащитных групп, в том числе ACLU, в письме Zoom. «Выражение лица часто не связано с лежащими в его основе эмоциями, и исследования показали, что даже люди иногда не могут точно читать или измерять эмоции других людей. Разработка этого инструмента повышает доверие к лженауке и ставит на карту вашу репутацию».
Zoom не сразу ответил на запрос Lifewire о комментарии.
Следите за своими эмоциями
Согласно статье протокола, система мониторинга Zoom под названием Q for Sales будет проверять соотношение времени разговора пользователей, задержку ответа и частую смену говорящего, чтобы отслеживать, насколько человек вовлечен. Zoom будет использовать эти данные для присвоения баллов от нуля до 100, причем более высокие баллы указывают на более высокую вовлеченность или настроение.
Группы по защите прав человека утверждают, что программное обеспечение может дискриминировать людей с ограниченными возможностями или представителей определенных национальностей, предполагая, что все используют для общения одни и те же выражения лица, модели голоса и язык тела. Группы также предполагают, что программное обеспечение может представлять угрозу безопасности данных.
"Сбор глубоко личных данных может сделать любую организацию, которая развертывает эту технологию, мишенью для слежки со стороны государственных органов и злонамеренных хакеров", - говорится в письме.
Джулия Стоянович, профессор информатики и инженерии в Нью-Йоркском университете, сказала Lifewire в интервью по электронной почте, что она скептически относится к утверждениям, лежащим в основе обнаружения эмоций.
«Я не понимаю, как такая технология может работать - эмоциональное выражение людей очень индивидуально, очень зависит от культуры и очень зависит от контекста», - сказал Стоянович.«Но, что еще более важно, я не понимаю, почему мы хотим, чтобы эти инструменты работали. Другими словами, у нас было бы еще больше проблем, если бы они работали хорошо. Но, возможно, даже прежде чем думать о рисках, мы должны спросите - каковы потенциальные преимущества такой технологии?»
Zoom - не единственная компания, использующая программное обеспечение для обнаружения эмоций. Тео Уиллс, старший директор по конфиденциальности в Kuma LLC, консалтинговой компании в области конфиденциальности и безопасности, сообщил Lifewire по электронной почте, что во время интервью используется программное обеспечение для обнаружения эмоций, чтобы оценить, обращает ли пользователь внимание. Его также тестируют в транспортной отрасли, чтобы отслеживать, не кажутся ли водители сонными, на видеоплатформах, чтобы измерять интерес и вырабатывать рекомендации, а также в учебных пособиях, чтобы определить, насколько интересен тот или иной метод обучения..
Уиллс утверждал, что полемика вокруг программного обеспечения для мониторинга эмоций является скорее вопросом этики данных, чем конфиденциальности. Она сказала, что речь идет о системе, которая принимает реальные решения на основе догадок.
С помощью этой технологии вы теперь предполагаете причину, по которой у меня есть определенное выражение лица, но стимул, стоящий за выражением, сильно различается из-за таких вещей, как социальное или культурное воспитание, поведение в семье, прошлый опыт или нервозность. в данный момент», - добавил Уиллс. «Основание алгоритма на предположении по своей сути ошибочно и потенциально дискриминационно. Многие популяции не представлены в популяции, на которой основаны алгоритмы, и перед их использованием необходимо определить приоритет соответствующего представления».
Практические соображения
Проблемы, связанные с программным обеспечением для отслеживания эмоций, могут быть как практическими, так и теоретическими. Мэтт Хейзи, соучредитель Ferret.ai, приложения на основе искусственного интеллекта, которое предоставляет информацию об отношениях, сообщил Lifewire в электронном письме, что пользователи должны спрашивать, где проводится анализ лиц и какие данные хранятся. Исследование проводится на записях звонков, обработанных в облаке или на локальном устройстве?
Кроме того, Хейзи спросил, по мере обучения алгоритма, какие данные он собирает о лице или движениях человека, которые потенциально могут быть извлечены из алгоритма и использованы для воссоздания чьей-либо биометрии? Сохраняет ли компания моментальные снимки для проверки или проверки знаний алгоритма, и уведомляет ли пользователь о том, что эти новые производные данные или сохраненные изображения могут быть собраны из их вызовов?
«Все эти проблемы решили многие компании, но есть и компании, которые были потрясены скандалом, когда выяснилось, что они сделали это неправильно», - сказал Хейси. «Facebook - это наиболее важный случай, когда компания свернула свою платформу распознавания лиц из-за опасений по поводу конфиденциальности пользователей. Материнская компания Meta теперь забирает функции AR из Instagram в некоторых юрисдикциях, таких как Иллинойс и Техас, из-за законов о конфиденциальности, касающихся биометрических данных».
