Ключевые выводы
- Navi использует SharePlay и встроенную функцию преобразования речи в текст от Apple, чтобы предлагать субтитры и переводы в FaceTime.
- Это далеко не идеально, но уже достаточно хорошо.
- Субтитры отлично подходят для доступности.
Navi - это приложение, которое добавляет живые субтитры и переводы в реальном времени к вашим звонкам FaceTime.
Приложение использует SharePlay и встроенное распознавание речи для добавления субтитров и переводов на 20 языков к вашим вызовам FaceTime. Это невероятное использование SharePlay, которое большинство из нас считает бесполезным способом смотреть синхронизированные фильмы с людьми в других местах. Возможно, вам пока не нужно увольнять переводчика, но приложение, которое делает это хорошо, может быть безумно полезным.
«Я не получаю аудио во время звонка FaceTime, - пишет разработчик Navi Джорди Брюин в Твиттере, - но использую SharePlay, чтобы поделиться им с участниками звонка».
SharePlay
SharePlay - это новая функция в iOS 15 и macOS 12.1, которая позволяет вам делиться и синхронизировать данные во время вызовов FaceTime. В приведенном выше примере с просмотром фильма любой участник может приостановить или воспроизвести фильм, например, пока вы все общаетесь во время вызова FaceTime. Видео FaceTime остается открытым на небольшой плавающей панели «картинка в картинке», и каждый участник запускает приложение локально на своем устройстве. Хитрость SharePlay заключается в том, чтобы синхронизировать все, что происходит в этих локальных приложениях, чтобы каждый мог поделиться своим опытом, будь то фильм, тренировка Fitness+ или электронная таблица.
Navi использует ту же технологию, только приложение для вызова - это не фильм, а механизм перевода в реальном времени. Чтобы использовать его, вы запускаете приложение во время вызова FaceTime и нажимаете кнопку «Включить субтитры». Затем другие участники также могут присоединиться к действию и увидеть живые субтитры для текущего спикера. Если кто-то говорит монолог, его речевой пузырь увеличивается и задерживается немного дольше.
Для глухих это может означать разницу между тем, звонить людям или нет. И для всех это означает, что вы можете вести полезные разговоры между людьми, которые не говорят на одном языке.
Универсальный текст
Интернет построен на тексте, и это здорово. Он небольшой и его легко создавать, читать и переводить. Это также просто превратить в синтезированную речь. В результате любой из любого места может участвовать в любом разговоре. Язык не является барьером, как и глухота или какая-либо слепота, если вы используете устройство с хорошими инструментами доступности для людей с нарушениями зрения или слуха.
Но произнесенное слово гораздо труднее обработать. Диктовка речи в текст впечатляет, но только сравнительно недавно общее распознавание речи стало достаточно хорошим для общего использования - хорошим примером является приложение Apple Translate. Представленный в iOS 15, он предлагает аудиопереводы в реальном времени. Если бы мы еще ездили отдыхать за границу, было бы идеально.
Сейчас мы все чаще используем видео для работы и для связи с друзьями и семьей. Как бы мы ни работали в будущем, барьер для видеозвонков был основательно разрушен. Сейчас это распространенный инструмент, но ему не хватает изящества письменных средств коммуникации.
Что-то вроде Navi, которая предлагает субтитры и перевод в реальном времени, может иметь большое значение. Доступность - это один из аспектов, но возможность общаться с людьми, на чьем языке вы не говорите, в поразительной степени открывает возможности для международного бизнеса.
В действии
Я тестировал Navi с разработчиком приложений, автором и пользователем слуховых аппаратов Грэмом Бауэром. Он довольно хорош, но пока не готов к критическим задачам. Некоторые из транскрипций были комично плохими и слишком вульгарными, чтобы их можно было передать. Однако по мере того, как наш разговор продолжался, он стал намного лучше точно распознавать его речь. Это имеет смысл, потому что механизм диктовки iOS со временем адаптируется к вашему голосу.
Перевод тоже работал, хотя качество его переводов зависит от точности ввода.
Легко спроецировать эту технологию на будущие Apple Glasses или любой другой продукт AR/VR, над которым, по слухам, работают на этой неделе.
«Я вижу, как это работает в очках дополненной реальности», - сказал Бауэр во время нашего разговора. «Некоторые люди, даже с нормальным слухом, предпочитают субтитры в фильмах. Это было бы похоже на субтитры в реальной жизни».
Несмотря на впечатляющую техническую демонстрацию, Navi еще не существует. Для надежного использования в бизнесе первоначальное распознавание речи Apple должно стать намного более точным. Но со скоростью все в порядке, и переводы ничуть не хуже.
Но сейчас мы на пути, и такие вещи будут только улучшаться.
