Ключевые выводы
- Новый программный инструмент позволяет ИИ отслеживать комментарии в Интернете на предмет разжигания ненависти.
- ИИ необходим для модерации интернет-контента из-за огромного объема материала, который превосходит человеческие возможности.
- Но некоторые эксперты говорят, что мониторинг речи с помощью ИИ вызывает проблемы с конфиденциальностью.
Поскольку разжигание ненависти в Интернете растет, одна компания заявляет, что у нее может быть решение, которое не зависит от модераторов-людей.
Стартап под названием Spectrum Labs предоставляет поставщикам платформ технологию искусственного интеллекта для обнаружения и отключения токсичных бирж в режиме реального времени. Но эксперты говорят, что мониторинг ИИ также вызывает проблемы с конфиденциальностью.
«Мониторинг ИИ часто требует изучения закономерностей с течением времени, что требует сохранения данных», - сказал Lifewire в интервью по электронной почте Дэвид Муди, старший сотрудник Schellman, компании, занимающейся оценкой соблюдения требований безопасности и конфиденциальности. «Эти данные могут включать данные, которые законы помечают как данные о конфиденциальности (личная информация или PII)».
Ещё разжигание ненависти
Spectrum Labs обещает высокотехнологичное решение извечной проблемы разжигания ненависти.
«В среднем мы помогаем платформам сократить усилия по модерации контента на 50 % и в 10 раз увеличить выявление токсичного поведения», - заявляет компания на своем веб-сайте.
Spectrum говорит, что он работал с научно-исследовательскими институтами, специализирующимися на конкретных видах вредного поведения, для создания более 40 моделей идентификации поведения. Платформа модерации контента компании Guardian была создана командой ученых и модераторов данных для «поддержки защиты сообществ от токсичности."
Существует растущая потребность в способах борьбы с ненавистническими высказываниями, поскольку человек не может отслеживать каждую часть онлайн-трафика, Дилан Фокс, генеральный директор AssemblyAI, стартапа, который обеспечивает распознавание речи и привлекает клиентов к отслеживанию ненависти. речь, сказал Lifewire в интервью по электронной почте.
«Только в Твиттере ежедневно публикуется около 500 миллионов твитов», - добавил он. «Даже если бы один человек мог проверять твит каждые 10 секунд, для этого Twitter потребовалось бы нанять 60 тысяч человек. Вместо этого мы используем интеллектуальные инструменты, такие как ИИ, для автоматизации процесса».
В отличие от человека, ИИ может работать 24/7 и потенциально быть более справедливым, поскольку он предназначен для унифицированного применения своих правил ко всем пользователям без вмешательства каких-либо личных убеждений, сказал Фокс. Также есть плата за мониторинг и модерацию контента.
"Они могут подвергаться насилию, ненависти и отвратительным действиям, которые могут нанести ущерб психическому здоровью человека", - сказал он.
Spectrum - не единственная компания, которая стремится автоматически обнаруживать язык ненависти в Интернете. Например, Center Malaysia недавно запустила онлайн-трекер, предназначенный для поиска разжигающих ненависть высказываний среди малайзийских пользователей сети. Разработанное ими программное обеспечение под названием Tracker Benci использует машинное обучение для обнаружения разжигающих ненависть высказываний в Интернете, особенно в Twitter.
Задача состоит в том, как создать пространство, в котором люди могут действительно конструктивно взаимодействовать друг с другом.
Конфиденциальность
Хотя такие технические решения, как Spectrum, могут бороться с ненавистническими высказываниями в Интернете, они также вызывают вопросы о том, как много должны делать полицейские компьютеры.
Существуют последствия для свободы слова, но не только для спикеров, чьи сообщения будут удалены как разжигание ненависти, сказала Lifewire в электронном письме Ирина Райку, директор по интернет-этике в Центре прикладной этики Марккулы в Университете Санта-Клары. интервью.
«Допущение преследований во имя «свободы слова» заставило объекты таких высказываний (особенно когда они направлены против конкретных лиц) прекратить говорить - полностью отказаться от различных разговоров и платформ», - сказал Райку.«Задача состоит в том, как создать пространство, в котором люди могут действительно конструктивно взаимодействовать друг с другом».
Мониторинг речи ИИ не должен вызывать проблем с конфиденциальностью, если компании используют общедоступную информацию во время мониторинга, сказал Фокс. Однако, если компания покупает информацию о том, как пользователи взаимодействуют на других платформах, чтобы предварительно идентифицировать проблемных пользователей, это может вызвать проблемы с конфиденциальностью.
"Это определенно может быть немного серой зоной, в зависимости от приложения", добавил он.
Джастин Дэвис, генеральный директор Spectrum Labs, сообщил Lifewire по электронной почте, что технология компании может просматривать от 2 до 5 тысяч строк данных за доли секунды. «Самое главное, технологии могут уменьшить количество токсичного контента, которому подвергаются модераторы-люди», - сказал он.
Возможно, мы находимся на пороге революции в области ИИ, отслеживающего человеческую речь и текст в Интернете. По словам Муди, будущие достижения включают улучшенные независимые и автономные возможности мониторинга для выявления ранее неизвестных форм разжигания ненависти или любых других поддающихся цензуре моделей, которые будут развиваться.
ИИ также скоро сможет распознавать паттерны в конкретных речевых паттернах и связывать источники и другую их деятельность с помощью анализа новостей, публичных файлов, анализа паттернов трафика, физического мониторинга и многих других опций, добавил он.
Но некоторые эксперты говорят, что людям всегда нужно будет работать с компьютерами, чтобы отслеживать разжигание ненависти.
«Один только ИИ не сработает, - сказал Райку. «Это следует признать одним из несовершенных инструментов, который необходимо использовать в сочетании с другими ответами».
Исправление от 25.01.2022: Добавлена цитата Джастина Дэвиса в 5-м абзаце с конца, чтобы отразить письмо после публикации.
