Prophesee met au point des capteurs de vision neuromorphique

Prophesee s’inspire de l’œil humain pour créer son capteur de vision. La start-up française, créée en 2016, a mis au point un capteur neuromorphique qui reproduit le fonctionnement de la rétine humaine : chaque pixel est indépendant et va réagir de manière asynchrone aux changements de luminance de l’environnement. Il va ainsi générer des données, y compris les coordonnées et une information temporelle de l’ordre de la microseconde, uniquement pour les pixels où un changement est détecté. Le système repose sur un principe biologique : ne pas envoyer une information que le cerveau possède déjà en supprimant la redondance de l’information. En d’autres termes, tant que le capteur ne voit pas de changement, il n’envoie pas d’information. Pour améliorer son système, la start-up s’est récemment associée à Sony pour co-développer un nouveau modèle de capteur, dont la taille de pixel est de 4,86 micromètres, contre 15 micromètres pour le capteur précédent qui est en vente dans un format mini PBGA (pour Plastic Ball Gril Array) pour des applications dans l’industrie 4.0.

Ce résultat a été rendu possible grâce à la technologie BSI 3D Stacked de Sony (pour Back Side Illuminated) qui a permis d’empiler un capteur d’image CMOS rétro-éclairé et des circuits logiques, dont chaque pixel est connecté électriquement par des plots de cuivre (connexion Cu-Cu). “Jusqu’à présent nous travaillions sur des wafers en 2D, ce qui avait un impact à la fois sur la dimension des capteurs ainsi que sur le ratio surface photosensible et surface totale, précise Luca Verre, cofondateur de Prophesee. On perdait près de 70 % des photons. Avec Sony, nous avons pu développer d’un côté la photodiode et de l’autre la partie intelligente, pour ensuite les empiler l’une sur l’autre.”

Une faible consommation d’énergie

La méthode permet une petite taille de pixel, de bonnes performances en faible luminosité (40 mlx), une réponse rapide des pixels, une résolution élevée (1280 × 720 HD) et une lecture de données à haut débit (1 066 Mega d’événements par seconde). Ce taux de sortie a été atteint en compressant sans perte d’informations les données d’événements, c’est-à-dire les informations de polarité de changement de luminance, de temps et de coordonnées x/y pour chaque événement. Mais également une réduction de la consommation énergétique : le capteur consomme 32 milliwatts pour enregistrer 100 000 événements par seconde, et seulement 73 milliwatts à 300 millions d’événements par seconde. “Le fait d’avoir moins de données permet de réduire le coût système.”

Les applications de ce système sont variées. “Le capteur peut être utilisé pour toutes les applications en temps réel qui ont des contraintes énergétiques, un coût système et nécessitent de la rapidité”, affirme Luca Verre. A savoir les systèmes de vision artificielle dans le véhicule autonome, l’automatisation industrielle, l’IoT, la sécurité et la surveillance ainsi que la réalité virtuelle et augmentée. “Dans les systèmes grands public comme smartphone ou casque VR, l’enjeu est sur la partie énergétique”, poursuit le cofondateur. La première application de la start-up était médicale : le capteur a été intégré dans les systèmes de restauration visuelle de Pixium Vision. “Nous sommes toujours en relation avec Pixium Vision et Gensight Biologics, confie Luca Verre. Nous travaillons également avec d’autres sociétés dans le domaine médical sur l’instrumentation médicale pour faire par exemple du comptage de particules et des analyses de fluide.”

Vers d’autres systèmes bioinspirés

Outre l’amélioration de son capteur de vision, Prophesee souhaite s’orienter vers d’autres systèmes bioinspirés. Il explique : “Les modèles biologiques de captation ne se cantonnent pas à la vision : la vision : mémoire, audio, plateforme de calcul… Pour l’instant, nous avons parié sur la vision, qui est un système complexe mais bien compris par rapport à d’autres. Mais dans notre roadmap à très long terme, nous pensons aller vers d’autres formes de captation de l’information.”