Ключевые выводы
- Новые специальные возможности включают в себя Live Captions, создаваемые в режиме реального времени для любого видео или разговора.
- Если эта функция не предназначена для очков дополненной реальности Apple, по слухам, мы съедим нашу виртуальную шляпу с эмодзи.
- Apple имеет опыт тестирования функций будущих продуктов на существующих устройствах.
Новые Live Captions от Apple добавляют субтитры в реальном времени ко всему, включая человека, стоящего перед вами.
Так же, как и концепт AR Glasses от Google, анонсированный на этой неделе. Apple Live Captions может принимать входящий звук и мгновенно расшифровывать его. Разница в том, что версия Apple выйдет «позже в этом году», что, вероятно, означает, что она будет в выпуске iOS 16 этой осенью. Но настоящая новость здесь заключается в том, что это самый очевидный шаг Apple по тестированию будущих функций Apple Glasses у всех на виду.
«Для человека, у которого двое родителей плохо слышат, это может быть большим подспорьем», - пишет журналист Дэн Морен, ориентированный на Apple, в своем личном блоге Six Colors. «Мне любопытно посмотреть, насколько хорошо эта функция на самом деле работает и как она справляется с большим вызовом FaceTime с большим количеством участников; Apple говорит, что будет связывать диалоги с конкретными выступающими».
Ловкость рук
Live Captions, о которых мы поговорим чуть позже, далеко не первая функция очков дополненной реальности, которую Apple опробовала. Наиболее очевидным является включение камер LIDAR в iPhone и iPad. Эти сканеры помогают создавать точную 3D-карту внешнего мира и позволяют iPhone накладывать 3D-модели на реальный мир, отображаемый через камеру.
Я не уверен, что мы можем доверять живому переводу Apple больше, чем новым очкам Google AR, но я думаю, что мы можем верить, что конкуренция поможет добиться лучших результатов.
До сих пор эта технология использовалась, чтобы вы могли просматривать новые компьютеры Apple на своем собственном столе, играть в игры AR Lego, тестировать мебель IKEA в своей гостиной и так далее. Аппаратное обеспечение LIDAR настолько абсурдно избыточно в iPhone, что оно должно быть там только для того, чтобы Apple могла отточить аппаратное и программное обеспечение для реального приложения AR: Apple Glasses..
Это не просто визуальная дополненная реальность. AirPods уже много лет добавляют удобные функции дополненной реальности. Последнее, Spatial Audio, обманывает наш мозг, заставляя думать, что звуки исходят отовсюду вокруг нас, и является отличным способом смотреть фильмы или слушать расслабляющие звуковые ландшафты. Это отличная функция, но она будет еще лучше, когда она будет работать с ожидаемым будущим продуктом Apple - очками. Возможность размещать звуки в 3D-пространстве в соответствии с объектами AR действительно продает иллюзию.
Или как насчет Live Text, технологии iOS 15, которая распознает и читает текст на фотографиях и в прямом эфире через камеру iPhone? Это еще одна функция, которая идеально подходит для чтения вывесок, меню и другого текста через очки дополненной реальности.
Живые титры
Live Captions берет речь из звонка FaceTime, приложений для видеоконференций, потокового видео и т. д. Ваш телефон записывает аудио и расшифровывает его на лету, добавляя субтитры, как показано в этом видео.
Это здорово, но еще лучше то, что с вашего iPhone никогда ничего не выйдет. Субтитры, по словам Apple, генерируются на устройстве, а не отправляются на сервер. Это не только более конфиденциально, но и намного быстрее.
«Я не уверен, что мы можем доверять живому переводу Apple больше, чем новым очкам дополненной реальности Google, но я думаю, что мы можем верить, что конкуренция поможет добиться лучших результатов», - сказала Lifewire Кристен Болиг, основатель SecurityNerd. по электронной почте.«Теперь, когда конкурс стал публичным, а проблемы с такими технологиями (конфиденциальность, точность и т. д.) хорошо известны, обе компании будут не только соревноваться в том, чтобы первыми создать лучший продукт, но и в том, чтобы создать продукт, который лучше всего решает эти проблемы."
Мы также ожидаем какой-то встроенный автоматический перевод, который вы можете получить прямо сейчас, используя стороннее приложение Navi для автоматического перевода ваших разговоров FaceTime, или, возможно, способ сохранить эти транскрипции во время интервью для более легкий доступ позже.
Нам уже давно нравятся отличные специальные возможности Apple, которые позволяют нам настраивать наши устройства iOS почти до абсурда. От настройки дисплея, чтобы сделать цвета и текст более видимыми, до управления всем пользовательским интерфейсом с помощью внешних устройств, до уведомления телефона, когда кто-то звонит в дверь или на улицу прибывает фургон с доставкой.
Теперь мы все пользуемся преимуществами расширенных исследований Apple в области технологий дополненной реальности. Мы можем не заботиться об IKEA или LEGO и даже не захотеть когда-либо купить пару легендарных очков Apple с дополненной реальностью, но это не значит, что мы все не можем наслаждаться плодами этих исследований.
