Contenu
Les Google Pixel 4 et Pixel 4 XL offrent les meilleures fonctionnalités logicielles et les meilleures capacités d’appareil photo de la société, qui sont possibles grâce, en partie, à l’inclusion du noyau de neurones Pixel. Cette petite puce côtoie le processeur principal du Pixel 4 pour gérer efficacement les puissantes charges de travail d’apprentissage automatique de Google. Celles-ci vont du traitement d'image à la reconnaissance vocale et aux capacités de transcription.
Le Neural Core n’est cependant pas la première fissure de Google dans un processeur d’apprentissage automatique pour smartphones. Les Pixel 2 et 3 sont livrés avec le Pixel Visual Core, conçu pour décharger des tâches d’imagerie telles que HDR + pour améliorer les performances et l’efficacité énergétique. Le noyau neuronal du Pixel 4 s’appuie sur cette base avec des capacités améliorées et une sélection de nouveaux cas d’utilisation.
Ne manquez pas: voici ce que le mode Astro de Pixel 4 peut faire
Comment fonctionne le Pixel’s Neural Core?
Google n'a pas encore communiqué de détails sur ce qui se passe exactement dans son noyau de neurones. Cependant, nous savons comment fonctionne la génération précédente de Visual Core et le type de techniques généralement utilisées dans les processeurs d'apprentissage automatique (ML).
Contrairement à un processeur traditionnel conçu pour gérer un large éventail de tâches de calcul, les processeurs d'apprentissage machine (NPU), comme le Neural Core, sont optimisés pour quelques tâches mathématiques complexes spécifiques. Cela les rend plus proches des processeurs de signaux numériques (DSP) ou des unités de traitement graphique (GPU), mais optimisés pour les opérations spécifiques utilisées par les algorithmes d'apprentissage automatique.
La fusion multipliée-accumulée est une opération très courante d’imagerie et de ML vocale pour laquelle vous ne trouverez pas de support à grande échelle dans un processeur. Contrairement aux processeurs modernes 32 et 64 bits, ces opérations sont effectuées sur des tailles de données de seulement 16, 8 et même 4 bits. Des blocs matériels personnalisés sont nécessaires pour prendre en charge ces opérations avec une efficacité maximale.
Le Neural Core accélère les algorithmes d’image et de voix moins efficaces sur un processeur ou un processeur graphique.
Le noyau de neurones intègre des unités logiques arithmétiques dédiées dans le matériel pour traiter ces instructions rapidement et avec une consommation d'énergie minimale, au lieu de prendre plusieurs cycles de processeur. La puce comprend probablement des centaines de ces ALU dans plusieurs cœurs, avec une mémoire locale partagée et un microprocesseur supervisant la planification des tâches.
Google aura presque certainement optimisé sa dernière conception matérielle autour de ses algorithmes logiciels d'assistant, de voix et d'imagerie. La dépendance vis-à-vis des capacités ALU du Neural Core est la raison pour laquelle les dernières fonctionnalités de photographie de Pixel 4 ne se retrouvent pas dans les combinés plus anciens.
Que peut faire le noyau neural?
Le noyau neuronal semble être un élément clé de nombreuses nouvelles fonctions intégrées dans Google Pixel 4 et Pixel 4 XL. Ces améliorations concernent principalement le traitement des images et de la voix.
Du côté des photographies, la liste comprend les commandes de double exposition, un mode astrophotographie, des aperçus HDR + en direct et Night Sight. Pixel 4 de Google effectue des réglages de double exposition et HDR + en temps réel afin que les utilisateurs puissent voir les résultats de leurs photos avant de prendre la photo. Cela indique une augmentation importante de la puissance de calcul des images par rapport au Pixel 3.
En outre, ces téléphones introduisent une balance des blancs basée sur l'apprentissage dans son système de caméra, ce qui corrige les teintes de jaune souvent associées aux images en basse lumière. Les captures d'exposition multiples, la détection du ciel et la combinaison d'images sont utilisées pour le mode Veille nocturne Astro, nécessitant une quantité considérable de connaissances en matière de traitement et de détection d'image. Enfin, la fonction Fréquents visages de Pixel 4 identifie et recommande de meilleures photos des personnes que vous photographiez fréquemment.
Le Pixel 4 dispose également d'un assistant actualisé, doté de modèles de langage améliorés pouvant désormais fonctionner en mode natif sur l'appareil plutôt que dans le cloud. Les nouvelles fonctionnalités vocales comprennent également les conversations continues, la transcription audio via l’application Recorder et la reconnaissance vocale améliorée. Le noyau neuronal joue probablement aussi un rôle dans la technologie de déverrouillage de visage en 3D du téléphone.
Une vague d'avenir
Neural Core de Google est l’un des composants informatiques les plus puissants sur le marché des smartphones, permettant un montage d’images en temps réel plus efficace qu’auparavant. Google est fier de ses technologies d’apprentissage automatique de pointe et les points de vente les plus importants de Pixel 4 reposent sur les fruits de ces investissements.
Cependant, le Pixel 4 n'est pas le seul smartphone doté d'un puissant processeur d'apprentissage automatique. Tous les smartphones équipés d'un Snapdragon 855 sont dotés d'un matériel d'apprentissage automatique dédié. Bien que Google ait clairement des besoins différents et peut-être même des exigences plus puissantes pour ses smartphones. De même, le Kirin 990 de Huawei est doté de deux NPU internes suffisamment puissants pour produire des effets vidéo bokeh en temps réel et plus encore.
Le matériel d’apprentissage automatique est en passe de devenir la pierre angulaire des fonctionnalités phares d’image, de vidéo et d’IA pour smartphone. Google, avec ses Pixel 4 et Neural Core, se situe tout près du sommet de la liste.
Prochaine étape: les appareils photo Pixel de Google n’essaient pas du tout d’être des appareils photo
