Ключевые выводы
- ToxMod от бостонской компании Modulate утверждает, что автоматически в режиме реального времени обнаруживает деструктивную речь и противодействует ей.
- Вместо того, чтобы ограничиваться простым языком, ToxMod использует машинное обучение для определения неосязаемых вещей, таких как эмоции, громкость и ритм.
- ToxMod в настоящее время предназначен для использования во внутриигровых чатах, но нет никаких причин, по которым он не может появиться на вашем канале Twitch.
Компания из Бостона использует машинное обучение для создания того, что она позиционирует как первую в мире службу голосовой модерации, которая может определить разницу между тем, что говорится, и тем, что это означает.
ToxMod - это попытка решить парадокс модерации любого открытого пространства в Интернете; не хватает людей, чтобы удовлетворить спрос, но алгоритмы, фильтры и система отчетов не понимают нюансов.
С помощью базы данных ToxMod может отслеживать факторы в речи игроков, такие как эмоции и громкость, что помогает различать кратковременную паузу и модель поведения. Недавно было объявлено, что он станет дополнением к игре Gridiron по американскому футболу 7 на 7, которая в настоящее время находится в раннем доступе Steam.
"Все знают, что домогательства, разжигание ненависти и токсичность в голосовом чате и играх - это серьезная проблема. Это общеизвестно", - сказал Картер Хаффман, главный технический директор и соучредитель Modulate, на встрече Google с Спасательный трос. «Мы могли бы взять функции, которые мы извлекали из этого множества систем машинного обучения, и объединить их в систему, которая учитывала бы все эти экспертные знания, которые мы получали от сообщества."
Приветствуем наших новых роботов-модераторов
Modulate работает над ToxMod с прошлой осени и включил его в качестве одного из трех основных сервисов компании. Он также предлагает VoiceWear, средство маскировки голоса, основанное на машинном обучении, и VoiceVibe, сервис-агрегатор, который позволяет пользователям узнавать, что обсуждают люди в их сообществах.
Когда ToxMod запущен в чате, его можно запрограммировать через панель администратора Modulate на выполнение различных автоматических действий, таких как выдача предупреждений, отключение звука игроков или индивидуальная регулировка громкости.
Он использует систему сортировки, в которой его локальный экземпляр первым принимает меры, прежде чем проверять серверы Modulate для подтверждения. Затем он, наконец, обостряется до такой степени, что может потребовать вмешательства человека. Проходя по очереди каждую проверку, которую Modulate называет «сортировочными воротами», идея состоит в том, что ToxMod дает небольшой группе модераторов инструменты, с помощью которых можно эффективно модерировать гораздо большее сообщество.
«Печальная правда заключается в том, что у всех был такой опыт, когда они пытались использовать голосовой чат на любой платформе, на которой вы были, и обнаруживали, что это была плохая идея», - сказал генеральный директор Modulate Майк Паппас в интервью. видеозвонок с Lifewire. «Возможность прийти и сказать: «Это не Дикий Запад. Здесь есть правила». Я думаю, это действительно важно».
Взлом системы
Естественно, второй или третий вопрос о ToxMod - как его сломать.
Со многими системами автоматической модерации, такими как алгоритмы, управляющие Twitter, легко настроить их против людей, которые вам не нравятся. Просто заявите о своей цели с помощью нескольких аккаунтов sock puppet, и они гарантированно съедят бан.
«На базовом уровне ToxMod не нужно полагаться на эти дополнительные отчеты игроков», - сказал Паппас. «Он все еще может дать точные оценки того, на какие правонарушения нам нужно [уделить] внимание. Вам не нужно беспокоиться о том, что игроки попытаются обыграть систему, так как на самом деле играть не во что.
Все знают, что домогательства, ненавистнические высказывания и токсичность в голосовом чате и играх являются серьезной проблемой.
«Все, что вы можете контролировать как игрок, - это ваш собственный звук», - продолжил Паппас. «Самое худшее, что вы можете сделать, это быть менее плохим человеком, чтобы мы не отметили вас как плохого актера, что, я бы сказал, близко к успеху миссии».
В общем, идея ToxMod - это активная попытка рекультивации. Многие игроки в этот момент подвергались той или иной форме преследования со стороны случайных незнакомцев в открытых голосовых каналах, начиная от случайных оскорблений и заканчивая активными угрозами. В результате геймеры, как правило, избегают голосового чата в целом, предпочитая отказываться от его удобства в обмен на собственное спокойствие.
«Мы ожидаем увидеть [плохие актеры, проводящие] намного меньше времени в голосовом чате, прежде чем их найдут и удалят», - сказал Паппас.«Это имеет больше, чем просто линейное влияние. Когда все считают голосовой чат более безопасным местом, больше хороших актеров готовы вернуться к голосовому чату и попробовать его. Я думаю, что все может развиваться в положительном направлении».
