Intégration multi-sensorielles
Processeur de perception bio-inspiré : une approche neuromorphique

Le procédé perceptif présenté ci-dessus en figure 12 est générique, il va donc s’appliquer à chaque capteur indépendamment de la modalité d’entrée, en unifiant le langage de représentations sémantiques.

La figure 13 est un exemple d’intégration de deux modalités, la vision et le son, qui peut être étendu à tous nos sens comme le montre la figure 14. La mémoire associative nécessite un lien interne. Il y a donc une mémorisation en local (une seule modalité) et indépendamment une mémorisation contextuelle en global.

Par exemple, la figure 13 peut représenter un oiseau qui chante, ou le son d’un instrument. Il y a deux processus activés, l’oiseau ou l’instrument, qui est vu et connu et le son émis qui y fait référence.

Le premier processus perçoit l’élément et en fournit des représentations sémantiques qui activent la mémoire associative et extraient le nom de l’oiseau ou de l’instrument si l’élément est connu, ou un nom symbolique s’il n’a jamais été appris.

Un second processus perçoit le son et en fournit des représentations sémantiques qui activent la mémoire associative en mode apprentissage, le son est associé au nom de l’oiseau, de l’instrument ou du nom symbolique.

Maintenant, si le même son est entendu, d’une manière automatique, ce procédé en fournit des représentations sémantiques qui activent la mémoire associative et en extraient le nom de l’oiseau, de l’instrument ou du nom symbolique.

Ce processus peut être généralisé à tous les sens à partir du moment où il y a un lien qui relie les mémoires associatives.

D’autre part, cette communication bidirectionnelle de représentations sémantiques permet d’assurer un contrôle en boucle fermée et d’assurer une convergence plus forte dans un bruit de fond élevé.