Что мы знаем и не знаем про VR-очки MS HoloLens
03 мая 2015г.
Прежде всего, необходимо разобраться, что есть Microsoft HoloLens. Это не гарнитура виртуальной реальности, как, например, Oculus Rift, где разум человека «помещают» в трехмерную смоделированную художниками-визуализаторами сцену. Это гарнитура дополненной реальности, где в реальном мире разуму человека «подсовывают» искусственные голографические модели так, будто они появляются из ниоткуда на стене комнаты, на кухонном столе, вместо картины в гостиной или прямо на ладони. Microsoft HoloLens с помощью виртуальных голограмм дополняет нашу реальность эффективными и практичными интерфейсами и возможностями управления высокотехнологичными устройствами. С их помощью мы сможем усовершенствовать способы работы, общения и, конечно же, взаимодействия с видеоиграми. Мы продолжаем все больше узнавать об этой таинственной технологии, но до сих пор без ответов остается немало вопросов. Давайте посмотрим на то, что мы знаем и не знаем о HoloLens и голограммах Windows.
Краткая вводная
Весь пакет "Holo" состоит из самой гарнитуры HoloLens и сопутствующих ей программных технологий Windows Holographic. Как нам объясняет представитель проекта в Microsoft Алекс Кипман (Alex Kipman), это ни что иное, как специальная версия Windows 10, считающаяся отдельной «операционной системой». Она использует общий код, находящийся в основе десктопной и мобильной версий Windows 10. Универсальные приложения в Windows Holographic работают также легко, как на смартфонах или на стационарных компьютерах. Если говорить техническими терминами, то здесь нет таких API, которые бы не работали в стандартной Windows 10.
Такая система способна воспроизводить трехмерные аватары. Пользователь может выбрать себе любую 3D-модель. В демонстрационной версии это был синий безликий человек, как в известном фильме. Поэтому система воспринимает вас в качестве нечто образного, а не просто бестелесного раскомандовавшегося «голоса из воздуха». Это может быть полезно в случае, если HoloLens используется сразу несколькими людьми в одной комнате — каждый видит одну общую картину под разными ракурсами.
Создавать приложения очень просто
Для того, чтобы начать проектировать приложения для HoloLens необходим такой же опыт, как и в создании трехмерных приложений для мобильных устройств, заявляет Кипман. Разумеется, для этого потребуется освоение нескольких промежуточных инструментов для адаптации под голографическое пространство Windows.
Например, Cortana (уже существующий мобильный голосовой помощник для Windows) адаптировали под Windows Holographic, используя стандартный API и речевой «движок» сервиса — никаких сторонних дополнительных разработок. Такой же адаптации подвержены любые приложения, созданные под «плоские» интерфейсы. Портирование позволит «перетаскивать» двухмерные «окна» по квартире, как 3D-компоненты. Но и это можно изменить для улучшения взаимодействия с приложением, добавив эффекты или контекстные возможности.
Все это в воле разработчика, говорит Кипман. Впрочем, это также означает и то, что Microsoft до сих пор не сформировала конкретного плана по переносу существующих «плоских» приложений в трехмерное голографическое пространство для HoloLens. Просто здесь открыты двери для каждого разработчика, желающего поучаствовать в этом потрясающем эксперименте.
Это мобильный 100% автономный гаджет
В данный момент нам уже дважды демонстрировали прототип HoloLens, но до сих пор так и осталось в тайне техническое оснащение устройства. Мы не знаем ни о процессоре, ни о видеочипе, ни даже про объем памяти. Но судя по размеру очков и комментариям самой компании Microsoft, это все-таки мобильная платформа с низким энергопотреблением встроенного чипсета (SoC — система на чипе) и 100-процентной автономностью без каких-либо проводов (хотя в нынешней версии она требует проводного соединения с вычислительным блоком).
Как долго сможет работать HoloLens без подзарядки — вопрос, на который пока не знают ответа даже в Microsoft. Целевое предназначение гарнитуры очень требовательно к вычислительной мощи процессора и графического ускорителя, но на этом поле ведущим поставщикам мобильных чипсетов удалось достичь замечательных результатов в плане энергоэффективности. Чего не сказать о производителях дисплеев, которые жадно поглощают заряд батарейки.
И здесь у HoloLens имеется потрясающая технология, проецирующая голограммы на глаз путем хитрой системы преломления лучей за счет оптической надстройки из многочисленных линз. Мы видим комнату такой, какая она есть, а не через призму LCD-дисплея. И поверх нее выстраивается голограмма так, будто она действительно существует. Вполне вероятно, что такая система визуализации на порядок эффективнее в плане энергопотребления по сравнению с классическими дисплеями для смартфонов.
Об этом Microsoft говорит в своем блоге, отмечая «продвинутую систему оптической проекции HoloLens». Там также говорится, что в прозрачных линзах генерируются многомерные полноцветные изображения с очень низкой задержкой, так что вы можете видеть голографические объекты в физическом мире». Выглядит это так: лицо опоясывает общая округлая линза в виде щитка, а непосредственно перед глазами находятся пара линз. Инженеры их называют «линзы высокой четкости». Чтобы минимизировать задержку и сделать анимации плавными, Microsoft создала синхронизированную систему различных «продвинутых» датчиков.
Обработка изображения и датчики
Нам известно, что HoloLens оснащается не только процессором и видеочипом, но и также обладает отдельным мощным блоком, который отвечает за аппаратную обработку голограмм (Holographic Processing Unit, HPU). По словам Кипмана, на него возложена задача по разгрузке процессора и видеочипа для того, чтобы разработчики смогли создавать больше визуализаций для голографических эффектов, не вмешиваясь в стандартную работу приложений или видеоигр.
Помимо обработки голограмм для HoloLens блок HPU отвечает за распознавание человеческой речи, ее тембра, идентичности и других свойств. В совокупности он представляет собой эдакий аналог Kinect, только еще более продвинутый и компактный, говорит Кипман. В HPU проходят все процессы, свойственные бесконтактному манипулятору Microsoft — жесты, воздушные препятствия, звук и речь и так далее. Однако точных спецификаций данного решения до сих пор не публиковалось.
В роли датчиков для HPU выступает целая система инерционных сенсоров — Intertial Measurement Unit (IMU). В их состав входит акселерометр, гироскоп, магнитометр и камера отслеживания положения головы с ИК-датчиком, размещенная на самих очках дополненной реальности, а не на телевизоре или еще где-либо в комнате, как в случае с Kinect. Важно отметить, что представленная в рамках Build 2015 демонстрация отличалась стабильным изображением без помех и сбоев в распознавании движений и перемещений пользователя по комнате.
Медиапространство HoloLens
Это удивительно, но HoloLens доступно для проведения трансляций — собственный опыт взаимодействия с голограммами вы также можете демонстрировать окружающим на телевизоре или мониторе. С этой целью применяется камера высокого разрешения, перехватывающая общую картинку съемки окружения с уже наложенным поверх трехмерным пространством. Это называется «Смешанная реальность». В данный момент она используется для демонстраций на конференциях Microsoft и пока неизвестно, войдет ли она в состав финального продукта. Технически данная камера имеет более совершенное устройство, чем встроенная в HoloLens для захвата движений головы.
Еще одна уникальная особенность HoloLens, о которой мало кто знает — это наличие пространственной стереоакустической системы, имитирующей слух человека с помощью бинауральной технологии. К примеру, сейчас такой акустикой активно занимается Oculus для своего шлема виртуальной реальности нового поколения. Специальные динамики в случае HoloLens встроены в душки по бокам очков. Бинауральный звук наш слух воспринимает с крайне точным позиционированием источника, пишет Microsoft в официальном блоге.
В очках есть и микрофон. Во время демонстрации показывался процесс тестирования звукозаписи, когда произносимое слово ведущим воспроизводилось аватаром через встроенные в HoloLens динамики. Присутствовавшие на Build 2015 журналисты отмечают, что воспроизведенный голос был тише, чем в действительности, но слова оказались различимы и понятны в общей суматохе шумного фона в зале конференции.
Вопросы про HoloLens, на которые нет ответов
Microsoft выстраивает специфику разработки и совершенствования очков дополненной реальности HoloLens без определенных планов и даже сколь-нибудь приблизительной дорожной карты проекта. Инновационный отдел редмондской корпорации работает в свободном режиме, привлекая к процессу самые смелые идеи. И в такой ситуации на многие вопросы не могут ответить даже сами разработчики, не считая тех, что скрываются под занавесом тайны специально — это технические спецификации.
Журналисты пытаются бомбить Microsoft вопросами в надежде, что кто-нибудь из разработчиков расскажет что-то новое или случайно проговорится. Например, отвечая на вопрос о том, когда нам стоит ожидать премьеру финального набора HoloLens, в корпорации отвечают: «В цикл жизни Windows 10», что можно расценить, как «Когда-нибудь в любой момент, прежде чем выйдет Windows 11».
Неясными остаются различия между Windows 10 Holographic и просто Windows 10. Какой будет чипсет (и то предположительно, что это чипсет типа SoC), станет ли там мощный игровой видеочип класса NVIDIA Tegra, как они будут взаимодействовать с системой обработки датчиков HPU, да и какие именно датчики еще используются (например, ИК-сенсор в камере лишь предполагается).
Нам неизвестно, как много HoloLens потребует оперативной памяти и есть ли там файловое хранилище, доступное для пользователей. Как долго очки проработают от одной подзарядки и какой аккумулятор разместится в столь компактном гаджете? Это тоже остается загадкой, как и модули Wi-Fi, Bluetooth и NFC…
Краткая вводная
Весь пакет "Holo" состоит из самой гарнитуры HoloLens и сопутствующих ей программных технологий Windows Holographic. Как нам объясняет представитель проекта в Microsoft Алекс Кипман (Alex Kipman), это ни что иное, как специальная версия Windows 10, считающаяся отдельной «операционной системой». Она использует общий код, находящийся в основе десктопной и мобильной версий Windows 10. Универсальные приложения в Windows Holographic работают также легко, как на смартфонах или на стационарных компьютерах. Если говорить техническими терминами, то здесь нет таких API, которые бы не работали в стандартной Windows 10.
Такая система способна воспроизводить трехмерные аватары. Пользователь может выбрать себе любую 3D-модель. В демонстрационной версии это был синий безликий человек, как в известном фильме. Поэтому система воспринимает вас в качестве нечто образного, а не просто бестелесного раскомандовавшегося «голоса из воздуха». Это может быть полезно в случае, если HoloLens используется сразу несколькими людьми в одной комнате — каждый видит одну общую картину под разными ракурсами.
Создавать приложения очень просто
Для того, чтобы начать проектировать приложения для HoloLens необходим такой же опыт, как и в создании трехмерных приложений для мобильных устройств, заявляет Кипман. Разумеется, для этого потребуется освоение нескольких промежуточных инструментов для адаптации под голографическое пространство Windows.
Например, Cortana (уже существующий мобильный голосовой помощник для Windows) адаптировали под Windows Holographic, используя стандартный API и речевой «движок» сервиса — никаких сторонних дополнительных разработок. Такой же адаптации подвержены любые приложения, созданные под «плоские» интерфейсы. Портирование позволит «перетаскивать» двухмерные «окна» по квартире, как 3D-компоненты. Но и это можно изменить для улучшения взаимодействия с приложением, добавив эффекты или контекстные возможности.
Все это в воле разработчика, говорит Кипман. Впрочем, это также означает и то, что Microsoft до сих пор не сформировала конкретного плана по переносу существующих «плоских» приложений в трехмерное голографическое пространство для HoloLens. Просто здесь открыты двери для каждого разработчика, желающего поучаствовать в этом потрясающем эксперименте.
Это мобильный 100% автономный гаджет
В данный момент нам уже дважды демонстрировали прототип HoloLens, но до сих пор так и осталось в тайне техническое оснащение устройства. Мы не знаем ни о процессоре, ни о видеочипе, ни даже про объем памяти. Но судя по размеру очков и комментариям самой компании Microsoft, это все-таки мобильная платформа с низким энергопотреблением встроенного чипсета (SoC — система на чипе) и 100-процентной автономностью без каких-либо проводов (хотя в нынешней версии она требует проводного соединения с вычислительным блоком).
Как долго сможет работать HoloLens без подзарядки — вопрос, на который пока не знают ответа даже в Microsoft. Целевое предназначение гарнитуры очень требовательно к вычислительной мощи процессора и графического ускорителя, но на этом поле ведущим поставщикам мобильных чипсетов удалось достичь замечательных результатов в плане энергоэффективности. Чего не сказать о производителях дисплеев, которые жадно поглощают заряд батарейки.
И здесь у HoloLens имеется потрясающая технология, проецирующая голограммы на глаз путем хитрой системы преломления лучей за счет оптической надстройки из многочисленных линз. Мы видим комнату такой, какая она есть, а не через призму LCD-дисплея. И поверх нее выстраивается голограмма так, будто она действительно существует. Вполне вероятно, что такая система визуализации на порядок эффективнее в плане энергопотребления по сравнению с классическими дисплеями для смартфонов.
Об этом Microsoft говорит в своем блоге, отмечая «продвинутую систему оптической проекции HoloLens». Там также говорится, что в прозрачных линзах генерируются многомерные полноцветные изображения с очень низкой задержкой, так что вы можете видеть голографические объекты в физическом мире». Выглядит это так: лицо опоясывает общая округлая линза в виде щитка, а непосредственно перед глазами находятся пара линз. Инженеры их называют «линзы высокой четкости». Чтобы минимизировать задержку и сделать анимации плавными, Microsoft создала синхронизированную систему различных «продвинутых» датчиков.
Обработка изображения и датчики
Нам известно, что HoloLens оснащается не только процессором и видеочипом, но и также обладает отдельным мощным блоком, который отвечает за аппаратную обработку голограмм (Holographic Processing Unit, HPU). По словам Кипмана, на него возложена задача по разгрузке процессора и видеочипа для того, чтобы разработчики смогли создавать больше визуализаций для голографических эффектов, не вмешиваясь в стандартную работу приложений или видеоигр.
Помимо обработки голограмм для HoloLens блок HPU отвечает за распознавание человеческой речи, ее тембра, идентичности и других свойств. В совокупности он представляет собой эдакий аналог Kinect, только еще более продвинутый и компактный, говорит Кипман. В HPU проходят все процессы, свойственные бесконтактному манипулятору Microsoft — жесты, воздушные препятствия, звук и речь и так далее. Однако точных спецификаций данного решения до сих пор не публиковалось.
В роли датчиков для HPU выступает целая система инерционных сенсоров — Intertial Measurement Unit (IMU). В их состав входит акселерометр, гироскоп, магнитометр и камера отслеживания положения головы с ИК-датчиком, размещенная на самих очках дополненной реальности, а не на телевизоре или еще где-либо в комнате, как в случае с Kinect. Важно отметить, что представленная в рамках Build 2015 демонстрация отличалась стабильным изображением без помех и сбоев в распознавании движений и перемещений пользователя по комнате.
Медиапространство HoloLens
Это удивительно, но HoloLens доступно для проведения трансляций — собственный опыт взаимодействия с голограммами вы также можете демонстрировать окружающим на телевизоре или мониторе. С этой целью применяется камера высокого разрешения, перехватывающая общую картинку съемки окружения с уже наложенным поверх трехмерным пространством. Это называется «Смешанная реальность». В данный момент она используется для демонстраций на конференциях Microsoft и пока неизвестно, войдет ли она в состав финального продукта. Технически данная камера имеет более совершенное устройство, чем встроенная в HoloLens для захвата движений головы.
Еще одна уникальная особенность HoloLens, о которой мало кто знает — это наличие пространственной стереоакустической системы, имитирующей слух человека с помощью бинауральной технологии. К примеру, сейчас такой акустикой активно занимается Oculus для своего шлема виртуальной реальности нового поколения. Специальные динамики в случае HoloLens встроены в душки по бокам очков. Бинауральный звук наш слух воспринимает с крайне точным позиционированием источника, пишет Microsoft в официальном блоге.
В очках есть и микрофон. Во время демонстрации показывался процесс тестирования звукозаписи, когда произносимое слово ведущим воспроизводилось аватаром через встроенные в HoloLens динамики. Присутствовавшие на Build 2015 журналисты отмечают, что воспроизведенный голос был тише, чем в действительности, но слова оказались различимы и понятны в общей суматохе шумного фона в зале конференции.
Вопросы про HoloLens, на которые нет ответов
Microsoft выстраивает специфику разработки и совершенствования очков дополненной реальности HoloLens без определенных планов и даже сколь-нибудь приблизительной дорожной карты проекта. Инновационный отдел редмондской корпорации работает в свободном режиме, привлекая к процессу самые смелые идеи. И в такой ситуации на многие вопросы не могут ответить даже сами разработчики, не считая тех, что скрываются под занавесом тайны специально — это технические спецификации.
Журналисты пытаются бомбить Microsoft вопросами в надежде, что кто-нибудь из разработчиков расскажет что-то новое или случайно проговорится. Например, отвечая на вопрос о том, когда нам стоит ожидать премьеру финального набора HoloLens, в корпорации отвечают: «В цикл жизни Windows 10», что можно расценить, как «Когда-нибудь в любой момент, прежде чем выйдет Windows 11».
Неясными остаются различия между Windows 10 Holographic и просто Windows 10. Какой будет чипсет (и то предположительно, что это чипсет типа SoC), станет ли там мощный игровой видеочип класса NVIDIA Tegra, как они будут взаимодействовать с системой обработки датчиков HPU, да и какие именно датчики еще используются (например, ИК-сенсор в камере лишь предполагается).
Нам неизвестно, как много HoloLens потребует оперативной памяти и есть ли там файловое хранилище, доступное для пользователей. Как долго очки проработают от одной подзарядки и какой аккумулятор разместится в столь компактном гаджете? Это тоже остается загадкой, как и модули Wi-Fi, Bluetooth и NFC…
