Contenu
- Comment fonctionnent les réseaux de neurones
- Réseaux de neurones à l'intérieur de votre smartphone
- L'intelligence artificielle pourrait façonner l'avenir de la photographie
Outre la photographie numérique, le matériel photo de haute qualité et les processeurs de signal d'image, la photographie mobile de pointe est de plus en plus alimentée par des algorithmes d'apprentissage automatique, également appelés intelligence artificielle (IA). Cette technique de photographie promet d’améliorer la qualité en poussant vers une qualité semblable à celle d’un reflex numérique, tout en offrant de nouvelles méthodes créatives de prise de vue et d’édition de photos et de vidéos.
La clé de l’apprentissage automatique est l’utilisation de réseaux de neurones. C'est un type d'algorithme qui est souvent assimilé au cerveau humain. Cette comparaison est tirée de la capacité d’un réseau de neurones à apprendre, par l’utilisation de données, à reconnaître des modèles, ce qui lui permet d’effectuer des classifications extrêmement précises pour des types de données complexes tels que l’audio et les images.
Lorsqu'il est question de photographie, la capacité d'observer, d'apprendre, de générer et de classer a de nombreuses applications. Ces applications peuvent inclure des fonctionnalités telles que l’utilisation de techniques de photographie informatique pour améliorer les algorithmes de post-traitement, le logiciel bokeh en temps réel avec vidéo 4K ou même l’échange complet des couleurs des vêtements que vous portez.
Comment fonctionnent les réseaux de neurones
Les réseaux de neurones sont un sujet extrêmement complexe, nous allons donc couvrir ici les bases. Pour une lecture plus avancée, consultez les guides ici et ici.
Les réseaux de neurones sont constitués de nœuds, ce qui est un indicateur pour les calculs. Chaque nœud combine une entrée avec un poids qui amplifie ou atténue la signification de ce nœud particulier. Plusieurs nœuds travaillent souvent en parallèle, créant une couche de nœuds qui effectue une tâche plus importante. Cela pourrait être la détection de caractéristiques dans une image, par exemple. Plusieurs nœuds et couches peuvent être additionnés et transmis à d'autres nœuds et couches, formant un réseau plus profond doté de fonctionnalités plus puissantes.
La sortie de chaque nœud et couche est mise à l'échelle en tant que fonction de probabilité. En examinant un grand nombre de caractéristiques et d'attributs différents, un réseau de neurones peut évaluer l'entrée comme une correspondance de probabilité avec toutes les sorties potentielles attendues. C’est ainsi que les algorithmes de détection d’image déterminent si une image ressemble davantage à un chat ou à une orange, mais vous devez lui dire quoi rechercher en premier.
Les réseaux de neurones ne sont pas programmés comme les algorithmes informatiques traditionnels. Au lieu de cela, ils sont formés sur des ensembles de données, tels que des images, des fichiers son, etc. Les poids de chaque nœud sont ajustés progressivement dans le temps via une boucle de rétroaction, en fonction de la capacité du réseau à faire correspondre les entrées aux bons résultats. Cet «apprentissage» progressif des règles nécessite une préparation, du temps et une puissance de calcul considérables, mais produit des résultats d'une précision phénoménale.
Réseaux de neurones à l'intérieur de votre smartphone
Les réseaux de neurones peuvent fonctionner sur une variété de composants matériels, y compris les composants de CPU et de GPU communs à une gamme de périphériques informatiques, y compris votre smartphone. Cependant, certains réseaux de neurones peuvent nécessiter plus de puissance de traitement que ces composants matériels ne peuvent en fournir, et un matériel dédié peut fournir le traitement optimal nécessaire.
Par exemple, dans la plate-forme mobile Qualcomm® Snapdragon ™ 855, vous trouverez le dernier processeur de signal numérique Qualcomm® Hexagon ™ 690, doté d'unités de traitement vectorielles améliorées et d'un nouvel accélérateur Tensor spécialement conçu pour les tâches d'apprentissage automatique. Les autres plates-formes mobiles Snapdragon intègrent également le composant DSP Hexagon, aux capacités variables. Cela dit, les réseaux de neurones ne se limitent pas à une exécution sur le DSP sur Snapdragon et d’autres plateformes mobiles. Le type de processeur utilisé dépend de la charge de travail.
Qualcomm Snapdragon 855 améliorations de l'apprentissage machine par rapport à la génération précédente
Qualcomm Technologies ouvre ses capacités de DSP et d'apprentissage automatique aux développeurs tiers via son SDK Qualcomm® Neural Processing. Cela permet aux applications d'exécuter des réseaux de neurones sur n'importe lequel des cœurs matériels de la plate-forme Snapdragon Mobile. Par exemple, les smartphones Google Pixel exploitent le DSP Hexagon et son propre Visual Core pour accélérer son impressionnante fonctionnalité de photographie HDR +. Qualcomm Technologies travaille avec des éditeurs de logiciels tels que Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho, etc., prenant en charge des fonctionnalités allant du bokeh vidéo à la création d’avatar en utilisant l’apprentissage automatique exécuté sur le DSP.
L'intelligence artificielle pourrait façonner l'avenir de la photographie
Maintenant que nous savons comment fonctionnent les réseaux de neurones, la question importante est de savoir ce que cela pourrait faire pour nous et nos photographies.
Les réseaux de neurones sont utilisés pour améliorer divers algorithmes de photographie courants. Le bruit de fond, par exemple, pourrait être amélioré avec une formation pour offrir un nettoyage d'image supérieur adapté à la caméra ou au type de prise de vue. De même, dans le cas d’une faible luminosité, un réseau neuronal peut détecter les parties lumineuses et sombres de l’image, ce qui permet d’améliorer la luminosité et les couleurs de certaines parties de la scène.
Les cas d'utilisation plus avancés sont de plus en plus courants dans la photographie sur smartphone. Les zooms super-résolution utilisent des réseaux de neurones pour combiner plusieurs images en une seule prise de vue haute résolution pour un zoom numérique de qualité supérieure. Les réseaux neuronaux pourraient également être formés pour assembler avec précision plusieurs expositions de photos pour une prise de vue HDR et nocturne améliorée.
La photographie en IA peut inclure un zoom super-résolution, un bokeh en temps réel et une qualité d'image améliorée.
La vidéo pourrait également bénéficier de l'adoption de cette technologie. La détection d'objets en temps réel est conçue pour permettre aux applications d'introduire des effets logiciels bokeh directement dans la vidéo lors de l'enregistrement. Des techniques similaires prennent également en charge l’échange et la suppression d’objets en temps réel. Cela implique de permuter l'arrière-plan d'une vidéo, de changer ou de supprimer des couleurs, voire de remplacer des vêtements ou de superposer des avatars numériques directement dans votre vidéo.
La puissance des réseaux de neurones et de la photographie d'intelligence artificielle va des améliorations de la qualité permettant de réduire l'écart entre les reflex numériques aux puissants outils de créativité permettant de produire un contenu unique en un tournemain. Quoi qu’il en soit, il s’agit d’une technologie puissante, fondamentale pour les améliorations futures en matière de photographie mobile.
Prochain: Google Pixel 3 XL cadeau international!
Contenu sponsorisé par Qualcomm Technologies, Inc.
Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine et Qualcomm Kryo sont des produits de Qualcomm Technologies, Inc. et / ou de ses filiales.
