Гарнитура смешанной реальности от Apple

Я подробно поизучал различные материалы, касающиеся совершенно инновационной гарнитуры смешанной реальности Apple Vision Pro, также я почитал отчеты людей, которые это устройство уже попробовали в работе.

Я неплохо представляю, что такое современные шлемы виртуальной реальности - у меня есть Oculus Rift и я делал его обзор, - также я пробовал в работе Meta Quest 2. Я помню попытку Google создать очки смешанной реальности, и помню, что у них из этого получилось (кратко - ничего хорошего, это даже как концепт было неинтересным, а развивать направление они не стали).

Что интересного и принципиально нового предлагает Apple с данным устройством?

1. Это не просто очки виртуальной реальности, это гарнитура смешанной реальности.

То есть это устройство взаимодействует с окружающим миром (это важный момент) и дополняет его виртуальной реальностью. Одновременно гарнитура может менять окружающую реальность.

Иконки приложений как бы "парят в воздухе" на фоне окружающего, и пользователь может запускать любые программы: будут появляться окна приложений с настраиваемым размером, которые также можно приближать к себе или наоборот отдалять. Одновременно можно работать с несколькими приложениями.

Можно менять окружающую установку на что угодно - например, переместить себя на берег моря или куда-нибудь в космос.

Очки умеют записывать трехмерное видео и демонстрировать его.

Также пишут, что можно с помощью очков создать трехмерную модель самого себя и использовать ее для видеоконференций, причем модель будет связана с владельцем, то есть она будет повторять и его мимику, и движения тела и рук.

В очках можно смотреть трехмерные фильмы, при этом обещают, что впечатления будут незабываемые.

Если к пользователю приближается человек, то интерфейс вокруг него становится прозрачным, остальные звуки заглушаются, а гарнитура начнет транслировать на внешнюю часть дисплея глаза пользователя - для поддерживания зрительного контакта.

2. Технические характеристики впечатляют

Vision Pro оснащаются экранами micro-OLED с очень высокой плотностью пикселей - 23 миллиона. На каждый глаз приходится разрешение 4K.

Чипсет - Apple M2 (5нм).

Чтобы узнавать владельца, там используется технология Optic ID. Для отслеживания движений пользоваля тут установлено множество датчиков и камер, также есть лидар.

Управлять Vision Pro можно как голосом, так и движением глаз, с помощью поворотного колесика, ну и традиционными трекпадом и клавиатурой.

Питаться Apple Vision Pro могут как от розетки, так и от небольшого внешнего аккумулятора, который крепится на поясе:  с ним автономность будет порядка двух часов.

Известно, что людям с плохим зрением придется заказывать специальные линзы, которые будут крепиться к очкам на магнитах: пользоваться гарнитурой в очках, как с другими очками виртуальной реальности, не получится. 

3. Виртуальная клавиатура

Перед пользователем будет возникать виртуальная клавиатура, на которой можно набирать текст. Нажатые клавиши будут подсвечиваться.

Также будут поддерживаться и обычные беспроводные клавиатуры, которые очки будут дополнять всякими виртуальными возможностями.

Цена вопроса - высока: в Штатах очки стоят $3499, в Европе будут стоить порядка 4 тысяч евро. Дорогое удовольствие. Но думаю, что я найду способ по крайней мере их потестировать.

Демонстрационный ролик:

Но это все - рекламные описания. А что говорят люди, которые гарнитуру смогли попробовать в работе?

Я почитал статью одного испанского журналиста - "Hemos probado las Vision Pro de Apple y son el principio de algo muy grande".

Что он пишет? Вот несколько выдержек, чтобы не пересказывать.

Одним из самых удивительных аспектов видоискателя является именно эта система управления. Постоянно возникает ощущение, что Vision Pro читает ваши мысли. Он знает, куда вы смотрите, и выделяет различные элементы интерфейса тонким, но ощутимым способом. Снаружи дисплей оснащен огромным количеством датчиков, несколько из которых отслеживают положение и движение ваших рук. Единственный необходимый жест управления - легкое виртуальное "щипание" рукой для нажатия или прокрутки.

Это невероятно естественно и интуитивно понятно. Рука может находиться в любом положении: опираться на ногу, лежать рядом с телом или перемещаться в пространстве. Видоискатель распознает это плавно и без того, чтобы жест казался вынужденным. За 30 минут тестирования устройства мне пришлось повторить нажатие всего два раза. Для набора длинных текстов можно использовать виртуальную клавиатуру, распознавание голоса или даже настоящую клавиатуру, подключенную через Bluetooth.

...

Это самая удобная гарнитура виртуальной или смешанной реальности, которую я пробовал , как с точки зрения физического прилегания к лицу, так и с точки зрения усталости глаз. Не вызывает головокружения и не раздражает глаза. Мой опыт, да, был ограничен 30 минутами, и ощущения могут быть другими при более длительных сеансах.

Одной из причин, почему это так удобно, является огромное разрешение экранов (всего 23 миллиона пикселей на очень маленькой площади), а это значит, что при просмотре реальности через Vision Pro создается ощущение, что вы смотрите прямо на сцену. Вы не видите пиксели, и только быстро двигая головой, вы видите некоторое размытие и потерю четкости, которые вы ожидаете от видео.

Хотя Apple не привела цифр, ощущение такое, что видеоизображение захватывается и проецируется со скоростью 120 кадров в секунду. Из всех систем виртуальной реальности с «прозрачностью» для просмотра реального мира, которые я пробовал, именно она лучше всего достигает эффекта.

...

Все в Vision Pro работает точно так же, как рекламные видеоролики Apple , с таким уровнем четкости, четкости и детализации, а также ощущением присутствия в виртуальных элементах. Сцены не преувеличение. Многие из уже представленных на рынке альтернатив пытались реализовать идею «виртуального рабочего стола» с несколькими плавающими экранами, но низкое разрешение и плохая интеграция с реальной сценой часто портят результат. В Vision Pro плавающие окна очень четкие и текст в Сети, например, читается без проблем .

В Vision Pro детали всегда удивляют, многие из них невероятно тонкие и почти незаметные. Звук, например, учитывает как физическое пространство, в котором находится пользователь, так и виртуальное. Гарнитура использует внешние датчики, чтобы получить представление о том, как должен звучать голос, скажем, звонка FaceTime или шумящего виртуального объекта. Если мы находимся в комнате, это будет звучать иначе, чем если бы мы были снаружи или «посетили» виртуальный лес.

Виртуальные элементы, плавающие в пространстве, имеют реалистичный вес и инерцию при манипулировании ими и отбрасывают тени и световые эффекты на поверхности стола или дивана .

Когда человек приближается к цифровым элементам, они также становятся прозрачными, чтобы с ними можно было разговаривать. К настоящему времени все это знают, но у визора есть внешний экран, который показывает изображение глаз пользователя, создавая ощущение ношения лыжных или водолазных очков. Это позволяет вам поддерживать зрительный контакт при разговоре с другими людьми, но это немного странно. По понятным причинам это то, что я не смог проверить (это я был в шлеме).

То, как эти элементы объединены, делает этот опыт непохожим ни на что, виденное ранее. Apple любит использовать слово «волшебный», чтобы описать результат своей невероятной одержимости полировкой пользовательского опыта . Vision Pro, безусловно, больше всего заслуживает такого описания .

Это не волшебство, конечно, это просто технология, но это технология, объединенная таким образом, что только Apple способна реализовать свой послужной список за последние два десятилетия.

Во время демонстрации мне удалось протестировать несколько приложений, которые Apple показывала на инаугурационной конференции WWDC и которые, как они неоднократно вспоминали, невозможно увидеть в двухмерном видео.

Даже не в трехмерном, если честно. Частью привлекательности Vision Pro является ощущение полного погружения, которое вы получаете, когда изображения заполняют все ваше поле зрения.

Демонстрация началась с нескольких производственных приложений, представленных на конференции: приложение для обмена сообщениями, фотографии и веб-браузер Safari открывались в нескольких окнах, которые можно было свободно размещать в пространстве и расширять до любого желаемого размера. Самое интересное в этом то, что эти экраны очень читаемы и четки, неотличимы от 4K-монитора или телевизора.

Приложение для фотографий заставило меня открыть рот от изумления — и я думаю, что закрыл его только через несколько минут после начала всего опыта. Увидеть захватывающее панорамное изображение — ошеломляюще. Также посмотрите некоторые виртуальные ландшафты, которые Apple включила, которые можно использовать, чтобы заблокировать представление о реальном мире. Ощущение переноса в другое место достигается гораздо лучше, чем в любой другой гарнитуре виртуальной реальности, которую я пробовал, например, в Quest 2 или многих HTC Vives.

Легко забыть, что эти Vision Pro также являются первой трехмерной камерой Apple . Они могут снимать фотографии и видео, которые затем можно просмотреть в видоискателе с невероятной детализацией. Ролики особенно привлекают внимание из-за возможной эмоциональной составляющей. Apple показала мне ту же видеозапись дня рождения, что и на конференции, и это был, безусловно, один из лучших моментов , ощущение повторного переживания воспоминаний.

Другая часть, на которую обращала внимание демонстрация, — это развлекательная функция, возможность просмотра фильма на парящем виртуальном экране любого размера, который вам нравится, на фоне реального или виртуального пространства. Это захватывает дух, а пространственный звук помогает сделать действие еще более реалистичным.

Vision Pro — первое устройство, благодаря которому я получил удовольствие от просмотра фильма в трех измерениях. Обычно эффект в кинотеатрах с очками оставляет желать лучшего, но в Apple Viewer увидеть последовательность «Аватар: водный путь» в 3D — это действительно уникальный опыт.

Две дополнительные демонстрации дополняют опыт. В них Apple показывает, каково это — видеть на устройстве трехмерное 180-градусное видео со сценами природы и спорта. И это потрясающе. Эта технология полностью меняет впечатление от просмотра футбольного или баскетбольного матча , позволяя смотреть на каждую игру так, как это невозможно на обычном телевизоре.

Второй представляет собой трехмерное воссоздание юрского пейзажа. В стене комнаты открывается окно, и пользователь смотрит прямо на вулкан, по которому гуляют два динозавра. Бабочка летит по воздуху, и если вы протянете руку, она приземлится вам на палец. Динозавры подходят близко, и вы можете ходить по комнате, чтобы увидеть их с разных точек зрения и полюбоваться деталями текстуры. Уровень детализации восхитителен, и вся сцена создается в режиме реального времени как пример мощности чипа M2, который оживляет устройство.

Эти 30 минут с Apple Vision Pro были самыми невероятными за 22 года работы с технологиями.