Ключевые выводы
- Исследователи создали методы, которые позволяют пользователям ранжировать результаты поведения модели машинного обучения.
- Эксперты говорят, что метод показывает, что машины догоняют мыслительные способности людей.
- Достижения в области ИИ могут ускорить развитие способности компьютеров понимать язык и коренным образом изменить способ взаимодействия ИИ и людей.
Новая методика, измеряющая силу рассуждений искусственного интеллекта (ИИ), показывает, что машины догоняют людей по своим способностям мыслить, говорят эксперты.
Исследователи из Массачусетского технологического института и IBM Research создали метод, который позволяет пользователю ранжировать результаты поведения модели машинного обучения. Их метод под названием «Общий интерес» включает в себя показатели, которые сравнивают, насколько хорошо мышление модели соответствует мышлению людей.
«Сегодня ИИ способен достичь (а в некоторых случаях и превзойти) производительности человека в конкретных задачах, включая распознавание изображений и понимание языка», - Питер Бутенирс, директор по инженерным разработкам в области машинного обучения и ИИ в коммуникациях компания Sinch, рассказала Lifewire в интервью по электронной почте. «Благодаря обработке естественного языка (NLP) системы ИИ могут интерпретировать, писать и говорить на языках так же, как люди, а ИИ может даже подстраивать свой диалект и тон, чтобы соответствовать своим человеческим сверстникам».
Искусственный интеллект
ИИ часто выдает результаты, не объясняя, почему эти решения верны. А инструменты, которые помогают экспертам разобраться в рассуждениях модели, часто дают только понимание, только один пример за раз. ИИ обычно обучается с использованием миллионов входных данных, из-за чего человеку сложно оценить достаточное количество решений для выявления закономерностей.
В недавней статье исследователи заявили, что Shared Interest может помочь пользователю выявить тенденции в принятии решений моделью. И эти идеи могут позволить пользователю решить, готова ли модель к развертыванию.
«Разрабатывая Shared Interest, наша цель состоит в том, чтобы иметь возможность масштабировать этот процесс анализа, чтобы вы могли понять на более глобальном уровне, каково поведение вашей модели», - Энджи Боггуст, соавтор статьи., - говорится в сообщении.
Shared Interest использует технику, которая показывает, как модель машинного обучения приняла конкретное решение, известную как методы значимости. Если модель классифицирует изображения, методы значимости выделяют области изображения, которые важны для модели, когда она принимает решение. Shared Interest работает путем сравнения методов значимости с аннотациями, созданными людьми.
Исследователи использовали Shared Interest, чтобы помочь дерматологу определить, следует ли ему доверять модели машинного обучения, предназначенной для диагностики рака по фотографиям поражений кожи. Общий интерес позволил дерматологу быстро увидеть примеры правильных и неправильных прогнозов модели. Дерматолог решил, что не может доверять модели, потому что она делает слишком много прогнозов, основанных на артефактах изображения, а не на реальных повреждениях.
«Ценность здесь в том, что, используя общий интерес, мы можем увидеть, как эти паттерны проявляются в поведении нашей модели. Примерно за полчаса дерматолог смог решить, доверять модели или нет, и стоит ли ее разворачивать», - сказал Боггуст.
Обоснование решения модели важно как для исследователя машинного обучения, так и для лица, принимающего решение.
Измерение прогресса
Работа исследователей Массачусетского технологического института может стать значительным шагом вперед для продвижения ИИ к интеллекту человеческого уровня, сказал Бен Хагаг, руководитель отдела исследований в Darrow, компании, которая использует алгоритмы машинного обучения, сказал, что сказал Lifewire в интервью по электронной почте.
«Обоснование решения модели важно как для исследователя машинного обучения, так и для лица, принимающего решения», - сказал Хагаг. «Первые хотят понять, насколько хороша модель и как ее можно улучшить, тогда как вторые хотят развить чувство уверенности в модели, поэтому им нужно понять, почему был предсказан такой результат».
Но Хагаг предупредил, что исследование Массачусетского технологического института основано на предположении, что мы понимаем или можем аннотировать человеческое понимание или человеческое мышление.
«Однако существует вероятность того, что это может быть неточным, поэтому необходимо больше работать над пониманием того, как люди принимают решения», - добавил Хагаг.
Достижения в области ИИ могут ускорить развитие способности компьютеров понимать язык и коренным образом изменить способ взаимодействия ИИ и людей, сказал Бутенирс. Чат-боты могут понимать сотни языков одновременно, а помощники ИИ могут сканировать текст в поисках ответов на вопросы или нарушения.
«Некоторые алгоритмы могут даже определить, когда сообщения являются мошенническими, что может помочь компаниям и потребителям отсеять спам», - добавил Бутенирс.
Но, по словам Бутенирса, ИИ по-прежнему совершает некоторые ошибки, которых люди никогда бы не сделали. «Хотя некоторые опасаются, что ИИ заменит человеческие рабочие места, реальность такова, что нам всегда будут нужны люди, работающие вместе с ботами ИИ, чтобы держать их под контролем и предотвращать эти ошибки, сохраняя при этом человеческий подход в бизнесе», - добавил он.
