Contenu
Le battage publicitaire pour la réalité virtuelle s'est certainement estompé au cours des deux dernières années, en raison d'une combinaison de matériel coûteux, de performances médiocres, de mal des transports et d'un manque de contenu utilisateur. L'industrie est actuellement coincée dans un scénario un peu piquant contre l'œuf, où le manque de consommateurs dissuade l'investissement dans le contenu haut de gamme. Un matériel de réalité virtuelle plus puissant et plus économique pour les masses sera nécessaire pour sortir de l'impasse.
Arm cherche à surmonter certains de ces obstacles technologiques avec son tout premier processeur d'affichage (DPU) spécialement conçu pour la réalité virtuelle: le Mali-D77. En résumé, le Mali-D77 délègue les tâches courantes de traitement de la réalité virtuelle du processeur graphique, libérant ainsi des ressources pour une cadence de prise de vue plus élevée, tout en contribuant à réduire le mal des transports.
À l'intérieur du bras Mali-D77
Une grande partie du Mali-D77 est basée sur le Mali-D71 2017 pour les smartphones phares et autres applications haut de gamme. Il possède le même décodeur de compression, la même échelle, le même support HDR et les mêmes unités de gestion des couleurs. Toutefois, la nouvelle conception a été optimisée pour prendre en charge les résolutions 3K à 120 images par seconde, avec la prise en charge des résolutions 4K à 90 images par seconde.
Les principales modifications prennent la forme de deux toutes nouvelles unités d’accélération matérielle pour les applications de réalité virtuelle. Le Mali-D77 prend en charge la correction d'objectif et le Timewarp asynchrone au lieu de l'exécution de ces algorithmes sur le GPU. Selon Arm, cela pourrait libérer environ 15% des ressources du processeur graphique, ce qui permettrait d'augmenter les taux de trame. Le transfert de cette charge vers la DPU offre également une économie de bande passante de 40% et une puissance de 180 mW par couche VR. Agréable.
La correction de l’objectif est requise dans les casques VR pour compenser la courbure de la lumière des objectifs. La distorsion en barillet est appliquée à chaque image rendue afin de compenser l'effet de distorsion en coussin de pinceau des lentilles. Considérez cela comme une surcompensation ou une «distorsion inverse» de sorte que la distorsion de l'objectif finisse par afficher la bonne image. Traditionnellement, cela se fait sur le GPU, en prenant des cycles et du temps supplémentaires. Le Mali-D77 fait tout cela sur le DPU.
En outre, le Mali-D77 effectue une correction de l'aberration chromatique en utilisant une méthode de distorsion inverse similaire. Lorsque cela est appliqué, les couleurs de l'image s'affichent correctement sur l'ensemble de l'objectif, y compris dans les coins où une distorsion de la séparation des couleurs peut se produire.
Qu'est-ce que Timewarp asynchrone?
La correction de la lentille s’explique d'elle-même, mais le Timewarp asynchrone est un peu plus compliqué. Dans ce cas, Arm utilise le processeur d’affichage pour faire pivoter, incliner et déformer les images afin de compenser les mouvements du porteur tout en réduisant les temps de latence des GPU ou des autres pipelines d’affichage.
Avec le matériel de la génération actuelle, le suivi des mouvements des axes X, Y et Z est mis à jour en synchronisation avec le GPU, car celui-ci doit rendre le changement de vue à chaque déplacement. Avec Timewarp asynchrone, les deux ne sont plus mis à jour ensemble. Vous pouvez déplacer votre tête entre les mises à jour du cadre du GPU et le Mali-D77 peut déformer le cadre actuel en fonction du mouvement de votre tête.
Il s'agit d'un effet subtil, car il ne dure qu'une fraction de seconde entre les images rendues et n'élimine pas la nécessité d'un rendu rapide de la fréquence d'images. Cependant, il augmente considérablement la fluidité et la fluidité des mouvements, car les mises à jour peuvent se produire encore plus fréquemment que la fréquence d'images du processeur graphique. La déconnexion entre les mouvements de votre corps et l'affichage d'une mise à jour visuelle est la principale cause du mal des transports en réalité virtuelle. Le Mali-D77 peut donc être d'une grande utilité à cet égard.
Les données de mouvement des axes X, Y et Z sont directement envoyées au Mali-D77 à partir de la CPU, sans passer par l’étape GPU. C'est une manière très différente de faire les choses et, en tant que tel, les développeurs devront utiliser un nouvel ensemble d'outils et de techniques de développement. C'est sans doute le plus gros obstacle avec le D77. Heureusement, les ingénieurs Arm ont travaillé en étroite collaboration avec des initiatives telles qu'OpenXR. Nous avons donc pu voir une annonce d'API pour une assistance simplifiée aux développeurs.
Dans l’ensemble, le bras Mali-D77 est une progression intelligente et logique de l’idée informatique hétérogène destinée à résoudre certains des problèmes matériels les plus importants de la réalité virtuelle. Avant que l’on ne puisse reconsidérer l’adoption par la majorité, il reste encore des obstacles en matière de communication, de suivi et de coût de la RV sans fil, mais le Mali-D77 permet de résoudre certains problèmes de performances.
