Tout savoir pour réaliser, optimiser et diffuser ses photos

Sony IMX500 : œil et cerveau réunis

14/05/2020 | LAURENT KATZ

La division Image and Sensing Solutions (I&SS) de Sony, qui entre parenthèses est l’un des moteurs de croissance de la marque avec Sony Music, lance un nouveau type de capteur empilé, avec une couche dédiée à l’analyse de l’image, animé par l’intelligence artificielle. Mais nos appareils photo vont sans doute devoir attendre !

Jusqu’alors l’empilement dans un capteur consistait à superposer des couches sensibles aux couleurs RVB (le capteur tricouche Foveon employé par Sigma) ou à placer sous la zone photosensible l’électronique de traitement du signal, pour accroitre la surface de la zone capturant la lumière et accélérer la transmission des données vers le processeur de l’appareil photo. Avec le IMX 500, un autre monde s’ouvre, puisqu’il regroupe un capteur Cmos rétroéclairé de 12 Mpxl (1/2,3 de pouce, photosites de 1,55 μm) et un circuit électronique qui regroupe unités de traitement et mémoire. Ce dernier assurant la gestion opérationnelle du capteur, le traitement d’image pour produire une image RVB ou YUV et surtout des analyses du contenu selon des techniques d’intelligence artificielle. Sony y voit plusieurs avantages : une consommation électrique réduite par rapport à un traitement effectué par un processeur externe au capteur, une transmission de données plus rapide et surtout confidentielle (pas d’envoi vers un ordinateur ou un nuage informatique pour l’analyse). Sur ce dernier critère, ne soyons pas naïfs : il faudra néanmoins faire confiance au fabricant qui intégrera ce capteur dans un véhicule, une caméra de lieu public ou une enceinte connecté qui aura toujours la possibilité d’envoyer l’image ou des données vers le web, avec l’accord de l’utilisateur RGBD oblige. Ce capteur d’un nouveau genre travaille à 60 im/s en modes Photo et Vidéo 4K, vitesse qui passe à 30 im/s quand la section d’IA est activée.

JPEG - 103.5 ko
Le capteur comporte deux couches : une pour l’aquisition, l’autre pour le traitement des données par l’intelligence artificielle (cliquer pour agrandir).
(doc. Sony)
JPEG - 115.4 ko
Le capteur produit l’image originelle, une version convertie, une version recadrée, des métadonnées (cliquer pour agrandir).
(doc. Sony)

Ce type de capteur est le fer de lance d’une convergence que Sony estime inéluctable entre la pure acquisition d’image et son exploitation par l’analyse du contenu qui peut prendre plusieurs formes selon la manière dont le processeur d’IA sera programmé. Par exemple la détection de personnes (mais pas la reconnaissance), l’analyse des mouvements (d’un corps, d’une foule, de véhicules…), la cartographie des températures d’une scène.

JPEG - 173.4 ko
Analyse de mouvements et suivi d’objets (cliquer pour agrandir).
(doc. Sony)
JPEG - 213.5 ko
Exemples d’usages : détection de visages à usage statistique, analyse de comportements de consommateurs ou de mouvements de foule, carte de températures (cliquer pour agrandir).
(doc. Sony)

Quel intérêt pour le photographe ou le vidéaste ? Sony reste plus que discrète sur l’intégration de ce capteur dont la version nue est disponible, quand la version associée à un support est prévue pour juin. Difficile de le savoir. Pour l’instant, la marque parle d’intégration au sein de caméras dans l’univers industriel ou la grande distribution sans préciser si elles proviendront d’intégrateurs tiers ou de modèles sous son propre nom. Elle se refuse d’ailleurs à donner la moindre indication sur ses productions qui l’utiliseraient, pas plus qu’elle n’indique si des déclinaisons sont prévues sous d’autres formats, l’APS-C ou le plein format par exemple. On sait juste que le capteur est capable de fournir des métadonnées balisées en fonction du contenu de l’image. On voit donc que pour un usage photo, l’IMX500 est capable de sortir du Raw, du Jpeg, des métadonnées et même une photo recadrée autour du sujet identifié. Pour la vidéo, il est possible que l’enregistrement de l’image soit accompagné de données liées au suivi en temps réel d’objets.
Ce type d’annonce est prometteuse, laissant présager des fonctions inédites. Surtout quand ce sont les utilisateurs industriels (pas nous, mais les entreprises) cherchant à exploiter ce capteur pour leurs applications qui définiront la manière dont l’IA sera employée et choisiront dans quel but. En tout cas, pour Sony et sa division I&SS, c’est un composant essentiel de sa politique de croissance.

- Vidéo de présentation en anglais
- Le site de la division semi-conducteurs de Sony

Cet article vous a plu ? Notez le et partagez le sur les réseaux sociaux !



Commenter cet article

Qui êtes-vous ?
Votre message
  • Pour créer des paragraphes, laissez simplement des lignes vides.

Messages

  • En ce qui me concerne, plus l’IA est à l’oeuvre, moins c’est de la photographie : cela devient de la photocopie du réel...
    Pourquoi cet engouement ?

    Je me pose la même question à propos de la substitution aux réflex haut de gamme de mirorless aussi chers et à peine plus légers qui amènent un changement de matériel sans utilité et avec lui, une cavalcade d’achats de nouveaux objectifs.

    Serait-ce la fuite en avant de notre société capitalisto-libéralo-mondialisée, qui voit dans les fantasmes technologiques une tentative de vendre encore et encore dans un marché objectivement satisfait, sinon repu ? Une manœuvre qui est à la photographie ce qu’est le ’greenwashing’ à l’écologie ?

    Evidemment, si je n’aime pas (ce qui est évident) je ne peux pas en dégoûter les autres... alors, bon appétit ! ( ;-)

  • "Ce type d’annonce est prometteur". Prometteur de quoi Laurent Katz ? Excusez-moi de vous prendre ainsi à partie, mais quand on a qu’un cerveau ordinaire, à l’humble intelligence pas artificielle du tout, on peut encore douter que "(…) ce sont les utilisateurs (…) qui définiront la manière dont l’IA sera employée et choisiront dans quel but". On voit trop bien que la vertu de ces algorithmes consiste avant tout à aliéner précisément notre "imparfaite" humaine liberté pour nourrir un ogre transhumaniste qui nous vend tous les jours de nouvelles illusions hors de contrôle du servum pecus. Promesses "inédites" mais mortifères. Ce genre de publireportage édifiant donne accroire qu’au lieu de penser les finalités de l’emballement technologique en amont, notre seule perspective pour tenter de le maîtriser serait de toujours courrir derrière avec notre toujours trop petit "pouvoir d’achat".

  • @4
    Je ne comprends pas votre intervention. Pourquoi s’en prendre à une personne ? Trop facile.
    LMDLP donne une information. C’est tout.
    Si vous avez une cible, ce serait ici à l’encontre de Sony me semble-t-il ? Bon courage.

  • Christian B :
    "moins c’est de la photographie : cela devient de la photocopie du réel..."
    A mon avis, cela devient de la photocopie de l’IA, selon le bon plaisir de ceux qui "maîtrisent" cette IA.
    Aujourd’hui, on nous flanquerait du HDR, dans 2 ans de l’instagram, etc...

    La seule utilité évidente de ce truc est le flicage. C’est prometteur.

  • @6 Mais c’est l’avenir ! Une IA qui sélectionne vos meilleures photos, les retouche et les poste sur instagram avec tout ce qu’il vous faut d’informations : le lieu, les commentaires mielleux....
    Voir mon insta , mes biches : @clubcremieux

  • Ah ! Le bon temps des Nikkormat, Alpa, Miranda ou autres Fujica !

  • @8 : "Ah le bon temps des Nikkormat, ...Miranda.."
    Vous n’avez pas l’impression qu’entre l’IA et Miranda, il y a eu quelques étapes intermédiaires ?
    Vous n’avez jamais entendu parler du ’juste milieu’ ?
    (ainsi, j’ai un Nikkormat .. ET un Nikon D800 ; .... mais je n’ai jamais utilisé le mode ’P’ sur un appareil)
    Vous me faites penser à ceux qui, lorsque je dénonce les ravages du libre-échange mondialisé érigé en religion, me répondent que je n’ai qu’à aller vivre en Corée du Nord !

  • De l’imagerie de surveillance, dans le domaine civil, industriel, militaire, oui mais pas que.
    Moi, je verrais bien des progrès dans l’imagerie médicale ou la cartographie avec l’intégration d’une déconvolution plus rapide par exemple, permettant aux cartes mères de pouvoir faire autre chose en aval.
    Par exemple.

  • @9
    Qui n’a pas beaucoup d’humour !
    C’est quoi pour vous le sujet ET le juste milieu ?
    « ... lorsque je dénonce les ravages du libre-échange mondialisé érigé en religion, me répondent que je n’ai qu’à aller vivre en Corée du Nord !... » Sic
    Hors sujet et incompréhensible.
    Votre propos montre que vous avez, par ailleurs, quelques détracteurs. On se moque bien ici, de vos échanges planétaires, voire lunaires...
    Rester simple est un art !

Hors-séries Le Monde de la photo