Как начать разработку потрясающих приложений для Apple Vision Pro(visionOS)

Занимаясь iOS разработкой уже достаточно долгое время, обладая практическим опытом в разработке устройств виртуальной реальности (один из лучших прототипов VR-шлемов своё время в РФ), а также собственным инструментом фотограмметрии, на этот раз я был впечатлен новостью, которую так долго ждали — анонсом гарнитуры смешанной реальности Vision Pro от Apple на WWDC2023. Компания представила новую платформу, в основе которой лежат уже знакомые нам современные инструменты iOS-разработки: ARKit, RealityKit и SwiftUI.

Наконец-то все фрагменты AR-пазла сложились воедино и я готов поделиться ссылками на ресурсы и стартовые материалы. Перед тем как приступить к чтению, предлагаю немного представить будущие приложения, которые обязательно изменят мир и принесут из создателям хорошие гонорары. Приготовьтесь погрузиться или добавьте эту статью в закладки (хотя, возможно, вы так и не прочтёте их) .

Введение в пространственные вычисления Apple
технологии xrOS

Недавно Apple опубликовала подробные учебные материалы и видео для разработчиков устройств смешанной реальности (MR), использующих SDK, доступный с конца июня 2023 года. Теперь вы можете создавать несколько окон, добавлять трёхмерный контент и превращать его в полноценное 3D приложение в VR/AR/MR. Ваше приложение может быть показано рядом с другими объектами в общем пространстве или существовать отдельно в изолированном 3D-пространстве. VisionOS использует такие фреймворки, как SwiftUI, RealityKit и ARKit, чтобы расширить возможности пространственных вычислений и помочь разработчикам создавать погружающие и увлекательные приложения. Вы можете разрабатывать для Vision Pro, используя такие инструменты, как Xcode, Reality Composer Pro и Unity. В ближайшее время Apple выпустит SDK visionOS(xrOS), связанные инструменты и документацию, чтобы обеспечить всестороннюю техническую поддержку разработчикам.

На данный момент Apple предоставляет доступ к большому количеству качественных видеоуроков, например:

Обзор технологий пространственных вычислений
Spatial computing

VisionOS(xrOS) предоставляет бесконечное 3D-пространство для создания новых интерактивных сцен и пользовательских опытов. Исследуйте новые инструменты от Apple, такие как Xcode 15 и новый Reality Composer Pro.

VisionOS(xrOS) придает большое значение дизайну доступности, обеспечивая комфорт и удобство взаимодействия для всех пользователей:

Дизайн в visionOS(xrOS)
visionOS(xrOS) design patterns

Разработка приложений, игр и впечатлений для пространственных вычислений в xrOS требует понимания новых элементов и компонентов.

Узнайте, как можете создавать приложения, игры и MR сцены для устройств Vision Pro. Откройте для себя новые возможности ввода и компоненты. Вероятно это ваш первый опыт в создании пространственных впечатлений или вы уже много лет разрабатываете 3D-приложения, с помощью visionOS можно создавать впечатляющие моменты, звуковые пейзажи, человекоориентированный пользовательский интерфейс и многое другое:

Инструменты и среды разработки

Несмотря на то, что многие разработчики для платформы Apple испытывают нелюбовь к XCode (и не без причин) , вы все равно можете начать разрабатывать для visionOS(xrOS) с его помощью, пока не появятся альтернативы. Вам будут показаны способы добавления visionOS к существующим проектам или создания полностью нового приложения, прототипирования в предварительном просмотре Xcode и импортирование контента из Reality Composer Pro. Кроме того, вы можете использовать симулятор xrOS для оценки ваших экспериментов в различных симулированных сценах и условиях освещения. Узнайте, как создавать тесты и визуализации для изучения столкновений, затемнений и понимания сцены для пространственного контента, а также оптимизировать его производительность и эффективность.

SwiftUI и RealityKit
SwiftUI+RealityKit

Чтобы извлечь максимум возможностей от visionOS, потребуется освоить SwiftUI и RealityKit. Эти инструменты позволят разработчикам создавать пространственные визуальные эффекты, такие как окна (windows), объемы (volumes) и пространства (spaces) в visionOS. От освоения API 3D-моделей до рендеринга 3D-контента с помощью RealityView, эти углубленные сессии помогут разработчикам создавать интересные визуальные опыты и 3D-сцены:

Вывод актуальной информации с помощью разработки AR

Augmented Reality (AR) – актуальная технология разработки, которая помогает втягивать информацию из реального окружения для того, чтобы предоставить пользователю более близкие к первоначальному впечатлению виртуальные и глубокие опыты. В этой статье рассматривается применение аудитории-полных актуальных реализаций для перспективного делового или профессионального разработчика AR. В широком цвете здесь обсуждаются идеи и практические решения связанные с выводом актуальной информации с помощью разработок AR. Понять, как эти алгоритмы могут открыть для вас новые возможности, а также протестировать свои навыки, стоит посвятить какое-то время и получить лучшее представление о вероятностях и перспективах, какие предлагает AR.

Что такое Технология Mixed Reality (MR)

Технология Mixed Reality (MR) – это технология смешанной реальности, которая позволяет использовать компьютерную графику для перемещения предметов в двух и в трехмерной среде. Смешанная реальность позволяет создать впечатляющие, реалистичные 3D-среды, в которых могут двигаться, взаимодействовать и перемещать объекты.

Основы Технологии Mixed Reality (MR):

• Технология Mixed Reality (MR) использует методы преобразования данных для вычисления положения и траектории перемещаемых объектов.
• MR имеет множество практических применений, например, в различных областях создания контента и виртуальной реальности.
• MR-технологии включают в себя аппаратное и программное обеспечение для достижения единой среды смешанной реальности, которая представляет смесь реальности и виртуальности.
• Один из основных компонентов Технологии Mixed Reality (MR) – это устройство ввода. Устройство ввода используется для применения различных элементов ввода для взаимодействия с MR
• Также для эффективного использования Технологии Mixed Reality (MR) основной узел является централизованным сервером, который реализует взаимодействие между аппаратными устройствами ввода и различными устройствами вывода.
• С помощью Технологии Mixed Reality (MR) пользователям предоставляется объективное трехмерное представление мира, которое отображает на мониторе предметы и данные из различных сред.
• MR используется для решения различных проблем, которые часто возникают при работе со стандартными графическими приложениями.

Особенности реализации разработок AR: основные подходы, компоненты и инструментарий

AR (аудио-визуальная реальность) является технологией, которая позволяет объединить виртуальное и реальное пространство. Она используется для создания интерактивных и гибких окружений, которые могут быть очень разнообразными. Поэтому разработки на основе AR можно реализовать при помощи различных технических решений. В этой статье мы рассмотрим основные подходы, компоненты и инструментарий, которые можно использовать для реализации технологий AR.

1. Основные подходы для реализации AR

Существуют различные подходы для реализации технологий AR. Наиболее распространенные из них:

• Трекинг позиции: этот подход основан на позиционировании и отслеживании движения пользователя или других объектов в пространстве. Он может быть дорогим и сложным для реализации и обычно используется для улучшения правдоподобности интерактивных сцен.
• Искусственный интеллект: В этом подходе используется ИИ и машинное обучение для анализа и процессинга данных, поступающих из реального мира. Таким образом, данные могут использоваться для построения интерактивных окружений.
• Смешанная реальность: В этом подходе используется сцепление виртуальной и реальной реальности. В нем используется как трекинг позиции, так и искусственный интеллект для построения гибридных окружений.

2. Компоненты и инструментарий

Развитие технологий AR открыло путь для их реализации с помощью большого количества компонентов и инструментов, включающих следующее:

• Отображение сканирования: это процесс считывания и анализа реального мира с помощью сканеров. Они могут использоваться для захвата и отслеживания изображений, трехмерных объектов и геометрии.
• Аудио-визуальное вычисление: Эти алгоритмы могут быть использованы для создания интерактивных сценографий. С их помощью также можно добавлять геометрические формы, измерять дальность и ориентацию объектов, а также определять положение и размеры предметов.
• 3D-моделирование: Это процесс, в котором используются 3D-модели и анимации для создания виртуального окружения и объектов.
• Разработка приложений: разработка приложений – это процесс создания настраиваемых и интерактивных приложений для реализации AR-решений.

Таким образом, набор компонентов и инструментов, используемых для реализации приложений, основан на тех подходах, о которых мы рассказывали выше.

Тип разработки AR	Описание	Применение
Виртуальная реальность	Технология, позволяющая пользователям погружаться в виртуальное пространство.	Виртуальная реальность может быть использована для проведения тренингов и обучения, визуализирования продуктов и процессов, создания виртуальных инструктажей по эксплуатации, диалогового маркетинга и многих других приложений.
Дополненная реальность	Добавляет географическую информацию, гибко совмещая данные с реальностью.	Дополненная реальность может быть использована для обучения и восприятия различных аспектов местности и помощи в навигации, мониторинга локаций, доставки информации или поддержки возможностей безопасности.
Смешанная реальность	Объединяет виртуальную и дополненную реальность для создания более естественных взаимодействий.	Смешанная реальность может быть использована для улучшения устройств и устройств ввода, настройки оборудования, преобразования информации в более удобной форме, и для приема или отправки информации, где и когда требуется.

Лучшие инструменты разработки дополненной реальности в 2021

В начале 2 части мы рассказывали на что стоит обратить внимание при выборе SDK для разработки своего продукта с дополненной реальностью, и теперь, когда вы знаете, какие функции вам следует рассмотреть, пришло время сделать обзор самых популярных, на наш взгляд, лучших framework дополненной реальности на рынке. Хотя их довольно много, мы отобрали семь AR SDK.

8116 просмотров

Его можно использовать для создания сцен AR на основе маркеров. Инструмент поставляется с расширением A-Frame и three.js, которое работает с любым смартфоном, независимо от версии его ОС, включая Android, iOS 11 и Windows Mobile.

Для создания AR-решения на основе AR JS необходимо лишь создать HTML-файл и подключить в него соответствующие библиотеки. Маркеры очень стабильны, но ограничены по форме, цвету и размеру. Предлагается для тех случаев, когда требуется много разных маркеров с разным содержанием, например, в книгах, листовках и флаерах с AR.

• Дополненная реальность на любом смартфоне в браузере.
• Настраиваемые, сенсорными жестами AR-объекты.
• Легкодоступная и быстрая разработка Marker Tracking (маркер с определенным паттерном).
• AR на основе местоположения.

Пример AR.js на основе маркеров, или отслеживания изображений с последними версиями a-frame (1.0.0 и выше), сенсорные жесты для масштабирования и поворота контента

Отлично, если ваш проект будет находиться на сайте, что использует защищенный протокол https, иначе доступ к камере может блокироваться. Не подходит для разнообразного функционала.

8th Wall — лидер в области дополненной реальности на базе Интернета (WebAR). Платформа 8th Wall также используется для разработки дополненной реальности, которая работает на всех устройствах — приложение не требуется и обеспечивает максимально широкий охват, поддерживая более 3 миллиардов смартфонов на iOS и Android.

Targets работает как с плоскими, так и с изогнутыми поверхностями, такими как бутылки, чашки и банки, обеспечивает потоковую передачу объемного видео в WebAR (или то, что часто называют голограммами).

В версии 16 система SLAM теперь на 50% точнее, чем раньше, с частотой кадров, которая на 70% выше, в зависимости от используемого устройства, обновление вышло этой весной. Это означает уменьшение дрейфа, дрожания и задержки для более плавного, и стабильного воспроизведения, согласно, информации на сайте 8th Wall.

• Поддержка маркеров (Image Target), World Effects, Face Effects, SLAM.
• Поддержка React, Vue.js, A-Frame, Babylon.js, Three.js.
• Функция записи видео в браузере.
• Разные стадии развертывания, включая промежуточную среду, защищенную паролем.
• Оценка освещения и относительный масштаб.
• Можно использовать в сочетании с движками Unity и Unreal.

Пример работы оживления предметов с помощью 8th Wall Image Targets и World Effects

Функции, которые раскрывают весь потенциал этого AR SDK, доступны без коммерческой лицензии за 99$ в месяц, но обязательно с водяными знаками 8th Wall, неважно коммерческий проект или нет.

Ежемесячная оплата лицензии также различается в зависимости от просмотров. Коммерческая лицензия Basic обойдется — от 1250$ в месяц, пакет Standart — от 3000$, Premium — от 5000$. И конечно же есть специальное предложение в пакете Pro. Также можно воспользоваться бесплатной пробной 14-дневной версией.

Основываясь на приведенных выше критериях, мы составили сравнительную таблицу 7 ведущих платформ дополненной реальности.

На данном этапе мы можем уже наблюдать, что еще не запустив производство, уже требуются значительные расходы только на этапе проектирования, не говоря уже об итоговой стоимости самого проекта.

Чтобы выбрать подходящий фреймворк для разработки — для каждого конкретного проекта нужно найти оптимальный баланс между применимостью, стоимостью и скоростью разработки, а также гибкостью и управляемостью, учитывая более широкий круг параметров.

Теперь, когда вы знаете, какие SDK дополненной реальности доступны и какие основные функции они предлагают, вы можете выбрать наиболее подходящий инструмент для создания отличных приложений AR. Решите, какие функции вам нужны в мобильном приложении или веб-браузере (WebAR), проверьте список SDK, примите во внимание цены и вы готовы разработать первоклассное приложение.

➕Читайте также начало 2 части “Практическое руководство по разработке AR — продукта. Выбор SDK и стоимость” — о том, на что нужно обращать внимание при выборе SDK.

➕Читайте 1 часть “Цена на дополненную реальность под ключ: как формируется стоимость” — где мы рассказали о стоимости разработки приложения дополненной реальности и формирования цены на российском рынке.

При подготовке материала использовались источники:
https://vc.ru/dev/731950-kak-nachat-razrabotku-potryasayushchih-prilozheniy-dlya-apple-vision-pro-visionos
https://vr-app.ru/blog/vyvod-aktualnoi-informacii-s-pomoshhiu-razrabotki-ar/
https://vc.ru/u/486048-kristina-shumskaya/255821-luchshie-instrumenty-razrabotki-dopolnennoy-realnosti-v-2021