Contenu

• Budget de puissance limité
• Bande passante et haute résolution
• Faible latence et panneaux d'affichage
• Audio et capteurs
• Développeurs et logiciels
• Emballer

Nous sommes enfin en train de plonger dans la révolution, comme certains pourraient le dire, avec une abondance de produits matériels et logiciels sur le marché, ainsi que des ressources permettant de stimuler les innovations. Cependant, cela fait plus d’un an que nous avons lancé de grands produits dans cet espace et nous attendons toujours cette application révolutionnaire pour faire de la réalité virtuelle un succès classique. En attendant, de nouveaux développements continuent de faire de la réalité virtuelle une option commerciale plus viable, mais de nombreux obstacles techniques doivent encore être surmontés, en particulier dans l’espace de réalité virtuelle mobile.

Budget de puissance limité

Le défi le plus évident et le plus discuté auquel sont confrontées les applications de réalité virtuelle mobiles est le budget énergétique et les contraintes thermiques beaucoup plus limités par rapport à son équivalent pour ordinateur de bureau. L'exécution d'applications graphiques intensives à partir d'une batterie signifie qu'il est nécessaire de consommer moins d'énergie et d'utiliser efficacement l'énergie pour préserver la durée de vie de la batterie. De plus, la proximité du matériel de traitement par rapport au porteur signifie que le budget thermique ne peut pas être poussé plus haut. À titre de comparaison, le mobile fonctionne généralement dans une limite inférieure à 4 watts, alors qu'un processeur graphique de bureau VR peut facilement consommer 150 watts ou plus.

Il est largement reconnu que la réalité virtuelle mobile ne sera pas synonyme de puissance brute sur le matériel de bureau, mais cela ne veut pas dire que les consommateurs ne demandent pas une expérience 3D immersive avec une résolution nette et une cadence élevée.

Il est largement reconnu que la réalité virtuelle mobile ne sera pas synonyme de puissance brute sur le matériel de bureau, mais cela ne signifie pas que les consommateurs ne vont pas exiger des expériences 3D immersives avec une résolution nette et une cadence élevée, malgré une puissance plus limitée. budget. Entre regarder des vidéos en 3D, explorer des lieux recréés à 360 degrés et même jouer, il existe encore de nombreux cas d'utilisation adaptés à la réalité virtuelle mobile.

En regardant votre SoC mobile typique, cela crée des problèmes supplémentaires qui sont moins souvent appréciés. Bien que les SoC mobiles puissent intégrer un processeur octa-core décent et une puissance de processeur graphique remarquable, il n’est pas possible de faire fonctionner ces puces à fond, en raison de la consommation électrique et des contraintes thermiques mentionnées précédemment. En réalité, le processeur d'une instance VR mobile veut fonctionner le moins longtemps possible, ce qui permet au GPU de consommer l'essentiel du budget d'alimentation limité. Cela limite non seulement les ressources disponibles pour la logique de jeu, les calculs physiques et même les processus mobiles en arrière-plan, mais alourdit également les tâches de réalité virtuelle essentielles, telles que les appels à rendu stéréoscopique.

L’industrie travaille déjà sur des solutions qui ne s’appliquent pas uniquement au mobile. Le rendu Multiview est pris en charge dans OpenGL 3.0 et ES 3.0 et a été développé par des contributeurs de Oculus, Qualcomm, Nvidia, Google, Epic, ARM et Sony. Multiview permet un rendu stéréoscopique avec un seul appel de dessin, au lieu d'un pour chaque point de vue, ce qui réduit les besoins en ressources processeur et réduit également le travail au sommet du processeur graphique. Cette technologie peut améliorer les performances de 40 à 50%. Dans l’espace mobile, Multiview est déjà pris en charge par un certain nombre d’appareils ARM Mali et Qualcomm Adreno.

Une autre innovation qui devrait apparaître dans les prochains produits de réalité virtuelle mobile est le rendu sophistiqué. Utilisé en conjonction avec la technologie de suivi oculaire, le rendu sophistiqué allège la charge sur un processeur graphique en ne rendant que le point focal exact de l'utilisateur à pleine résolution et en réduisant la résolution des objets dans la vision périphérique. Il complète bien le système de vision humaine et peut considérablement réduire la charge du processeur graphique, permettant ainsi d’économiser de l’énergie et / ou de libérer plus d’énergie pour d’autres tâches du processeur ou du processeur graphique.

Bande passante et haute résolution

Bien que la puissance de traitement soit limitée dans les situations de réalité virtuelle mobile, la plate-forme est toujours soumise aux mêmes exigences que les autres plates-formes de réalité virtuelle, y compris les exigences des panneaux d'affichage haute résolution à faible temps de latence. Même ceux qui ont visionné des écrans VR dotés d’une résolution QHD (2560 x 1440) ou d’une résolution de 1080 × 1200 du casque Rift par œil auront probablement été un peu dépassés par la clarté de l’image. L'aliasing est particulièrement problématique étant donné que nos yeux sont si proches de l'écran, les bords apparaissant particulièrement rugueux ou irréguliers lors du mouvement.

Bien que la puissance de traitement soit limitée dans les situations de réalité virtuelle mobile, la plate-forme est toujours soumise aux mêmes exigences que les autres plates-formes de réalité virtuelle, y compris les exigences des panneaux d'affichage haute résolution à faible temps de latence.

La solution par force brute consiste à augmenter la résolution d'affichage, la 4K étant la prochaine progression logique. Toutefois, les périphériques doivent conserver une fréquence de rafraîchissement élevée quelle que soit la résolution, 60 Hz étant considéré comme le minimum, mais 90 ou même 120 Hz étant nettement préférable. Cela pèse lourdement sur la mémoire système, avec entre deux et huit fois plus que les périphériques actuels. La bande passante mémoire est déjà plus limitée dans la VR mobile que dans les produits bureautiques, qui utilisent une mémoire graphique dédiée plus rapide que le pool partagé.

Les solutions possibles pour économiser la bande passante graphique incluent l’utilisation de technologies de compression, telles que le standard ASTC (Adaptive Scalable Texture Compression) d’AMD ou le format sans perte de texture Ericsson, qui sont tous deux des extensions officielles d’OpenGL et OpenGL ES. ASTC est également pris en charge matériellement dans les derniers GPU du Mali, les SoC Nvidia Kepler et Maxwell Tegra de Nvidia et les derniers GPU intégrés d’Intel, et permet d’économiser plus de 50% de la bande passante par rapport à l’utilisation de textures non compressées.

L'utilisation de la compression de texture peut réduire considérablement la bande passante, la latence et la mémoire requises par les applications 3D. Source - ARM.

D'autres techniques peuvent également être mises en œuvre.L'utilisation de tessellation peut créer une géométrie d'aspect plus détaillé à partir d'objets plus simples, bien que nécessitant d'autres ressources GPU substantielles. Le rendu différé et l'élimination directe des pixels peuvent éviter le rendu des pixels masqués, tandis que les architectures de Binning / Tiling peuvent être utilisées pour diviser l'image en grilles ou tuiles plus petites, chacune étant rendue séparément, ce qui permet d'économiser de la bande passante.

Alternativement, ou de préférence en plus, les développeurs peuvent faire des sacrifices sur la qualité d'image afin de réduire les contraintes sur la bande passante du système. La densité géométrique peut être sacrifiée ou une suppression plus agressive utilisée pour réduire la charge, et la résolution des données de sommet peut être réduite à 16 bits, soit une précision inférieure à la précision 32 bits utilisée traditionnellement. Bon nombre de ces techniques sont déjà utilisées dans divers forfaits mobiles et, ensemble, elles peuvent aider à réduire la charge de la bande passante.

La mémoire est non seulement une contrainte majeure dans l’espace de réalité virtuelle mobile, mais elle consomme également beaucoup d’énergie, souvent égale à la consommation de la CPU ou du GPU. En réalisant des économies de bande passante et d'utilisation de la mémoire, les solutions de réalité virtuelle portables devraient prolonger la durée de vie de la batterie.

Faible latence et panneaux d'affichage

En parlant de problèmes de latence, nous n’avons vu jusqu’à présent que des casques VR dotés d’écrans OLED, ce qui est principalement dû à des temps de commutation de pixels rapides, inférieurs à une milliseconde. Historiquement, les écrans LCD étaient associés à des problèmes de rémanence avec des fréquences de rafraîchissement très rapides, les rendant plutôt inappropriés pour la réalité virtuelle. Cependant, les écrans LCD à très haute résolution sont toujours moins chers à produire que leurs équivalents OLED. Le passage à cette technologie pourrait donc aider à ramener le prix des casques VR à des niveaux plus abordables.

Le mouvement vers la latence des photons devrait être inférieur à 20 ms. Cela comprend l’enregistrement et le traitement des mouvements, le traitement des graphiques et de l’audio et la mise à jour de l’affichage.

Les affichages jouent un rôle particulièrement important dans la latence globale d'un système de réalité virtuelle, faisant souvent la différence entre une expérience sans image et une expérience médiocre. Dans un système idéal, le temps de latence entre le mouvement et les photons (le temps entre le déplacement de la tête et l'affichage réagissant) devrait être inférieur à 20 millisecondes. Clairement, un affichage de 50ms n’est pas bon ici. Idéalement, les panneaux doivent être inférieurs à 5 ms afin de prendre également en compte le temps de latence du capteur et du traitement.

Actuellement, il existe un compromis entre performance et coûts qui favorise les OLED, mais cela pourrait bientôt changer. Les écrans LCD prenant en charge des taux de rafraîchissement plus élevés et des temps de réponse noir à blanc réduits faisant appel à des techniques de pointe, telles que le rétro-éclairage clignotant, pourraient parfaitement convenir. Japan Display a montré un tel panneau l'année dernière, et d'autres fabricants pourraient également annoncer des technologies similaires.

Audio et capteurs

Bien que la plupart des sujets de réalité virtuelle courants tournent autour de la qualité d'image, la RV immersive nécessite également des capteurs audio 3D haute résolution et spatialement précis ainsi que des capteurs à faible temps de latence. Dans le domaine mobile, tout cela doit être réalisé dans le cadre du même budget énergétique restreint qui affecte le processeur, le processeur graphique et la mémoire, ce qui présente de nouveaux défis.

Nous avons déjà abordé les problèmes de latence des capteurs, dans lesquels un mouvement doit être enregistré et traité dans le cadre de la limite de latence mouvement / photon inférieure à 20 ms. Lorsque nous considérons que les casques de réalité virtuelle utilisent 6 degrés de mouvement - rotation et lacet dans chacun des axes X, Y et Z - ainsi que de nouvelles technologies telles que le suivi oculaire, il existe une quantité considérable de données constantes à collecter et à traiter, le tout avec un minimum de latence.

Les solutions permettant de maintenir cette latence aussi faible que possible requièrent une approche de bout en bout, avec du matériel et des logiciels capables d'effectuer ces tâches en parallèle. Heureusement pour les appareils mobiles, l'utilisation de processeurs de capteurs dédiés à faible puissance et d'une technologie permanente est très courante, et ceux-ci fonctionnent à une puissance relativement faible.

Pour l’audio, la position 3D est une technique utilisée depuis longtemps pour les jeux et autres, mais l’utilisation d’une fonction de transfert de tête (HRTF) et d’un traitement de réverbération à convolution, indispensables pour un positionnement réaliste de la source sonore, sont des tâches très gourmandes en ressources processeur. Bien que ceux-ci puissent être exécutés sur la CPU, un processeur de signal numérique (DSD) dédié peut exécuter ces types de processus de manière beaucoup plus efficace, à la fois en termes de temps de traitement et de puissance.

En combinant ces fonctionnalités avec les exigences graphiques et d'affichage que nous avons déjà mentionnées, il est clair que l'utilisation de plusieurs processeurs spécialisés est le moyen le plus efficace de répondre à ces besoins. Nous avons vu que Qualcomm exploitait au mieux les capacités de calcul hétérogènes de ses plates-formes mobiles phares et les plus récentes Snapdragon, qui combinent une variété d’unités de traitement en un seul paquet avec des capacités qui répondent parfaitement à la plupart de ces besoins en réalité virtuelle. Nous verrons probablement le type de packages s’alimenter dans un certain nombre de produits de VR mobiles, y compris du matériel portable autonome.

Développeurs et logiciels

Enfin, aucune de ces avancées matérielles n'est satisfaisante sans les suites logicielles, les moteurs de jeu et les kits de développement logiciel (SDK) destinés à aider les développeurs. Après tout, chaque développeur ne peut pas réinventer la roue pour chaque application. Il est essentiel de maintenir les coûts de développement à une vitesse aussi rapide que possible, si nous voulons voir une large gamme d’applications.

Les kits de développement logiciel (SDK), en particulier, sont essentiels pour la mise en œuvre de tâches de traitement VR essentielles, telles que le Timewarp asynchrone, la correction de distorsion de l’objectif et le rendu stéréoscopique. Sans parler de la gestion de l’énergie, du thermique et du traitement dans des configurations matérielles hétérogènes.

Heureusement, tous les principaux fabricants de plates-formes matérielles proposent des kits de développement logiciel aux développeurs, bien que le marché soit relativement fragmenté, ce qui entraîne un manque de prise en charge multiplate-forme. Par exemple, Google possède son SDK VR pour Android et un SDK dédié au populaire moteur Unity, tandis qu'Oculus a son SDK mobile intégré à Samsung pour le Gear VR. Il est important de noter que le groupe Khronos a récemment dévoilé son initiative OpenXR, qui vise à fournir une API couvrant toutes les principales plates-formes au niveau des dispositifs et des applications, afin de faciliter le développement multiplate-forme. OpenXR pourrait bénéficier du support de son premier périphérique de réalité virtuelle d’ici à 2018.

Emballer

En dépit de certains problèmes, la technologie est en développement, et dans une certaine mesure déjà ici, rendant la réalité virtuelle mobile exploitable pour un certain nombre d'applications. La VR mobile présente également un certain nombre d'avantages qui ne s'appliquent tout simplement pas aux ordinateurs de bureau, ce qui en fera une plate-forme digne d'investissements et d'intrigues. Le facteur de portabilité fait de la réalité virtuelle mobile une plate-forme attrayante pour des expériences multimédia et même des jeux légers, sans qu'il soit nécessaire de connecter des câbles à un PC plus puissant.

En outre, le grand nombre d'appareils mobiles sur le marché qui sont de plus en plus équipés de fonctionnalités de réalité virtuelle en fait la plate-forme de choix pour atteindre le plus vaste public cible. Si la réalité virtuelle doit devenir une plate-forme grand public, elle a besoin d'utilisateurs, et le mobile est la base d'utilisateurs la plus importante à exploiter.