La division Image and Sensing Solutions (I&SS) de Sony, qui entre parenthèses est l’un des moteurs de croissance de la marque avec Sony Music, lance un nouveau type de capteur empilé, avec une couche dédiée à l’analyse de l’image, animé par l’intelligence artificielle. Mais nos appareils photo vont sans doute devoir attendre !
Jusqu’alors l’empilement dans un capteur consistait à superposer des couches sensibles aux couleurs RVB (le capteur tricouche Foveon employé par Sigma) ou à placer sous la zone photosensible l’électronique de traitement du signal, pour accroitre la surface de la zone capturant la lumière et accélérer la transmission des données vers le processeur de l’appareil photo. Avec le IMX 500, un autre monde s’ouvre, puisqu’il regroupe un capteur Cmos rétroéclairé de 12 Mpxl (1/2,3 de pouce, photosites de 1,55 μm) et un circuit électronique qui regroupe unités de traitement et mémoire. Ce dernier assurant la gestion opérationnelle du capteur, le traitement d’image pour produire une image RVB ou YUV et surtout des analyses du contenu selon des techniques d’intelligence artificielle. Sony y voit plusieurs avantages : une consommation électrique réduite par rapport à un traitement effectué par un processeur externe au capteur, une transmission de données plus rapide et surtout confidentielle (pas d’envoi vers un ordinateur ou un nuage informatique pour l’analyse). Sur ce dernier critère, ne soyons pas naïfs : il faudra néanmoins faire confiance au fabricant qui intégrera ce capteur dans un véhicule, une caméra de lieu public ou une enceinte connecté qui aura toujours la possibilité d’envoyer l’image ou des données vers le web, avec l’accord de l’utilisateur RGBD oblige. Ce capteur d’un nouveau genre travaille à 60 im/s en modes Photo et Vidéo 4K, vitesse qui passe à 30 im/s quand la section d’IA est activée.
Ce type de capteur est le fer de lance d’une convergence que Sony estime inéluctable entre la pure acquisition d’image et son exploitation par l’analyse du contenu qui peut prendre plusieurs formes selon la manière dont le processeur d’IA sera programmé. Par exemple la détection de personnes (mais pas la reconnaissance), l’analyse des mouvements (d’un corps, d’une foule, de véhicules…), la cartographie des températures d’une scène.
Quel intérêt pour le photographe ou le vidéaste ? Sony reste plus que discrète sur l’intégration de ce capteur dont la version nue est disponible, quand la version associée à un support est prévue pour juin. Difficile de le savoir. Pour l’instant, la marque parle d’intégration au sein de caméras dans l’univers industriel ou la grande distribution sans préciser si elles proviendront d’intégrateurs tiers ou de modèles sous son propre nom. Elle se refuse d’ailleurs à donner la moindre indication sur ses productions qui l’utiliseraient, pas plus qu’elle n’indique si des déclinaisons sont prévues sous d’autres formats, l’APS-C ou le plein format par exemple. On sait juste que le capteur est capable de fournir des métadonnées balisées en fonction du contenu de l’image. On voit donc que pour un usage photo, l’IMX500 est capable de sortir du Raw, du Jpeg, des métadonnées et même une photo recadrée autour du sujet identifié. Pour la vidéo, il est possible que l’enregistrement de l’image soit accompagné de données liées au suivi en temps réel d’objets.
Ce type d’annonce est prometteuse, laissant présager des fonctions inédites. Surtout quand ce sont les utilisateurs industriels (pas nous, mais les entreprises) cherchant à exploiter ce capteur pour leurs applications qui définiront la manière dont l’IA sera employée et choisiront dans quel but. En tout cas, pour Sony et sa division I&SS, c’est un composant essentiel de sa politique de croissance.
Vidéo de présentation en anglais
Le site de la division semi-conducteurs de Sony
