Sibylle Marcotte : plongée dans les arcanes des réseaux de neurones

Amatrice de musique et de lettres, Sibylle Marcotte voue également, depuis son plus jeune âge, une véritable passion aux mathématiques. Une discipline qui représente pour elle à la fois un « défi intellectuel » et « une forme très particulière de beauté », vers laquelle elle a ainsi finalement décidé d’orienter son parcours post-bac.

Aujourd’hui doctorante au sein du Département de mathématiques et applications (DMA) et du Centre sciences des données à l’ENS-PSL, Sibylle Marcotte mène des travaux de recherche axés autour de la compréhension théorique des dynamiques d’apprentissage de réseaux de neurones.

Techniques de l’Ingénieur : Quel a été le parcours qui vous a menée jusqu’à ce doctorat en mathématiques appliquées ?

Sibylle Marcotte : Petite, j’avais un intérêt tout particulier pour les mathématiques. Je me suis donc assez naturellement orientée, au lycée, vers un parcours scientifique, qui m’a amenée, après le bac, à intégrer une classe préparatoire option maths-physique au Lycée Louis-le-Grand. J’ai ensuite passé les concours et, finalement, intégré l’École normale supérieure de Rennes, dans le département Mathématiques.

Durant mon parcours à l’ENS, j’ai essentiellement étudié des mathématiques assez fondamentales, mais aussi un peu de maths appliquées. Parallèlement à cela, j’ai observé durant cette période une ascension fulgurante de l’IA. Je me suis donc davantage tournée vers les mathématiques appliquées et j’ai suivi un master dans ce domaine à Sorbonne Université.

À l’issue de ce master, j’ai effectué un stage qui m’a finalement amenée jusqu’à un doctorat [mené au sein du Département de mathématiques et applications (DMA) et du Centre sciences des données à l’ENS-PSL, n.d.l.r.] qui porte sur la compréhension de l’entraînement d’un réseau de neurones.

Avez-vous le sentiment que votre genre a eu un impact sur le déroulement de ce parcours dans le secondaire puis le supérieur que vous venez de décrire ? Si c’est le cas, a-t-il été plutôt un frein, un handicap, ou au contraire un atout, un levier qui vous a permis d’avancer ?

Je pense avoir été assez privilégiée dans le sens où mes deux sœurs aînées avaient déjà une appétence scientifique. Je n’ai donc pas été confrontée à cette « barrière » qui peut parfois se manifester au sein de certaines familles quant au fait qu’une femme fasse des sciences.

Un aspect m’a également marquée durant ma scolarité au collège puis au lycée : toutes mes profs de maths ont été des femmes. Cela a donc en quelque sorte « normalisé » dans mon esprit le fait que des femmes aient une carrière scientifique. Ça n’est que plus tard que j’ai réalisé que c’était finalement quelque chose qui n’allait pas forcément de soi. J’ai donc eu une chance considérable. Il reste malgré tout, évidemment, de gros progrès à faire en la matière.

Quel est l’objet des travaux que vous menez actuellement, dans le cadre de votre doctorat ?

Nous avons vécu, au cours de la dernière décennie, une révolution scientifique en matière d’apprentissage automatique, et plus particulièrement d’apprentissage profond – le deep learning. Récemment, la généralisation d’outils tels que ChatGPT a d’ailleurs largement contribué à populariser ce domaine.

Paradoxalement, la théorie derrière tout cela est encore très mal comprise ! De nombreuses questions scientifiques restent donc en suspens. Pouvoir comprendre, ne serait-ce que partiellement, ce qui se déroule « en coulisses » pourrait pourtant nous aider à rendre la technologie plus sûre, plus efficace et économe…

L’entraînement d’un réseau de neurones artificiels consiste en un ajustement des paramètres de ce réseau durant la phase d’apprentissage. Le réseau acquiert, au fil du temps, une incroyable capacité de généralisation : il devient capable d’établir des prédictions justes sur des données inconnues. C’est cela qui fait le succès actuel du machine learning. Il est donc essentiel de comprendre ce qui s’est passé durant cette dynamique d’entraînement, comment on a réussi à atteindre ces bons paramètres qui ont les bonnes propriétés.

Je me suis donc intéressée aux fonctions conservées au cours de cette phase d’entraînement, de l’initiation, avant l’entraînement, jusqu’à la solution finalement atteinte.

C’est en fait l’opacité, le côté « boîte noire » des algorithmes d’IA que vous tentez d’éclairer en tentant d’y apporter de l’explicabilité ?

Exactement. Un réseau de neurones reste, en effet, une boîte noire. Au cours de son entraînement, cette black box se modifie via un processus de minimisation vers une unique solution, alors qu’il existe, au départ, une infinité de possibilités. Comprendre pourquoi c’est cette solution qui a finalement été atteinte est donc un enjeu central. Cela permettrait de comprendre pourquoi les modèles ont cette capacité de généralisation et pourquoi cela fonctionne si bien. Ce qui reste, à ce jour, assez inexplicable.

À quelles avancées êtes-vous justement parvenue, et que vous reste-t-il à découvrir ?

J’entame à l’heure qu’il est ma troisième et dernière année de thèse. Au cours des deux années précédentes, j’ai notamment caractérisé les lois de conservation selon différents algorithmes d’optimisation et pour différentes architectures de réseaux de neurones. Je cherche désormais à comprendre ce que cette information concernant la fonction conservée nous apprend concrètement sur la solution finale, et toutes les dynamiques qui entrent en jeu au cours de la phase d’apprentissage.

Cela pourrait-il éventuellement, aider à améliorer l’efficacité énergétique de « grands modèles de langage » (LLM) tels que ChatGPT ?

Il s’agit en effet d’un enjeu, même si je dois dire que, pour l’heure, mes travaux ne concernent pas des modèles aussi complexes que ChatGPT… Mais, effectivement, si l’on s’apercevait qu’un paramètre permet d’accélérer fortement la convergence, d’atteindre très rapidement la bonne solution, cela aurait très certainement un impact au niveau énergétique.

Mais les intérêts de la compréhension théorique des algorithmes d’apprentissage automatique ne s’arrêtent pas là : mathématiquement, la convergence vers la solution finale des algorithmes d’IA reste un sujet sur lequel on ne sait que très peu de choses. Toutes les propriétés mathématiques classiques qui permettent, traditionnellement, de démontrer un résultat de convergence sont en effet violées dans le cas de l’apprentissage d’un réseau de neurones. Il s’agit là d’un sujet de recherche très important actuellement.

Comment accueilliez-vous ce Prix Jeunes Talents France 2024 L’Oréal-UNESCO Pour les Femmes et la Science qui vous a été décerné le 9 octobre dernier ? Quelles perspectives cela ouvre-t-il pour vous et la poursuite de votre carrière ?

Je suis très heureuse d’avoir reçu ce prix, qui compte beaucoup pour moi ! J’admirais beaucoup les précédentes lauréates de ce prix que je savais exigeant. J’en éprouve donc beaucoup de fierté. La visibilité que cette récompense confère à mes travaux va forcément être un tremplin pour moi, pour ma carrière, et va m’ouvrir de nouvelles perspectives.

J’ai aussi beaucoup apprécié le fait d’avoir pu rencontrer les autres lauréates. Cela m’a permis de faire connaissance avec des femmes scientifiques brillantes, impliquées dans des champs de recherche très variés – biologie, physique… Des mondes très éloignés du mien finalement, ce qui m’a paru d’autant plus intéressant !

Avez-vous éventuellement en tête une idée d’action, de stratégie, de solution… qu’il vous semblerait pertinent de mettre en œuvre pour renforcer la place et la visibilité des femmes dans le monde scientifique ?

Comme je l’évoquais au début de notre entretien, j’ai vraiment été marquée par la représentativité des femmes dans le corps enseignant au cours de ma scolarité. Je pense que cela a joué un rôle important dans mon parcours. Cela me semble donc un bon moyen d’aider à renforcer la place des femmes dans des carrières scientifiques.

Durant ma thèse, j’ai par ailleurs pris part au réseau Femmes et Mathématiques, qui m’a notamment permis d’échanger avec des lycéennes et de leur présenter mon parcours. La réforme du lycée implique désormais d’effectuer des choix stratégiques quant aux matières suivies pour accéder, notamment, aux classes préparatoires scientifiques. Or, les filles sont sans doute moins bien informées sur le sujet. Il me semble donc essentiel qu’elles puissent trouver une source d’information extérieure, à défaut d’en disposer au sein de leur lycée.

Enfin, je pense qu’il est également important de prendre en compte les résultats d’enquêtes telles que celle menée en 2022 par Ipsos pour la Fondation L’Oréal autour des violences sexistes et sexuelles au travail dans le monde scientifique. Une femme scientifique sur deux a en effet déclaré avoir été victime de harcèlement sexuel sur son lieu de travail… Or, on a trop souvent tendance à considérer que le risque est moindre dans ces milieux éduqués, privilégiés. Il est donc important de prendre davantage conscience du problème, et de renforcer les actions de formation et de sensibilisation. J’en ai d’ailleurs bénéficié grâce à la Fondation L’Oréal et j’ai appris beaucoup de choses dont je n’avais pas conscience, malgré mon statut de femme scientifique.

Une question subsidiaire, pour terminer… Avez-vous éventuellement en tête un exemple de figure féminine marquante à vos yeux, de l’histoire des sciences ou du monde scientifique contemporain ?

Je ne vais pas être très originale, mais je dirais Marie Curie ! En dépit, notamment, de son genre et de ses origines polonaises, elle a en effet mené une carrière scientifique exceptionnelle, qui l’a amenée à recevoir deux Prix Nobel dans deux disciplines différentes – l’un en physique, l’autre en chimie. Si son mari, Pierre Curie a évidemment lui aussi joué un rôle majeur dans l’histoire des sciences, elle reste malgré tout à mes yeux la figure majeure de ce couple brillant. Elle a, en plus, donné naissance à une fille, Irène Curie, qui a également décroché, conjointement avec son mari Frédéric Joliot, un Prix Nobel de chimie… Pour toutes ces raisons, Marie Curie me semble donc une femme scientifique vraiment exceptionnelle !