Leçons apprises après 8,5 ans de ML

que huit années que j’ai passées avec l’apprentissage automatique. Plus je connais ce domaine, plus je suis étonné par sa diversité. Lorsque j’ai commencé mes études en apprentissage automatique, la seule chose que je connaissais à l’époque était les techniques classiques d’apprentissage automatique, telles que KNN ou les algorithmes de clustering. Aujourd’hui, avec plus de huit années d’expérience, je pense que le domaine est si vaste qu’aucune personne seule ne peut comprendre tout cela.

Cependant, je pense qu’il y a encore quelques leçons qui sont applicables quel que soit le domaine dans lequel on effectue réellement des recherches ou des pratiques d’apprentissage automatique. Souvent, je profite d’un autre semestre de progrès dans mon parcours d’apprentissage automatique pour prendre un instant de recul et regarder les années précédentes. Qu’ai-je appris ? Quelles leçons semblent persister ?

Dans cette édition de mon articles sur les leçons apprises Je repense aux huit années précédentes et j’essaie de distiller les leçons qui persistent à revenir encore et encore. Cette fois, j’ai découvert que progresser dans l’apprentissage automatique, ou dans n’importe quel domaine, se résume souvent aux cinq choses suivantes. Ils sont patience, discipline, optimismebien projetset bien équipes. Je donnerai plus de détails à ce sujet dans la suite de cet article.

Patience

Personne ne naît expert, dans aucun domaine. Si l’on ne naît pas avec des capacités de génie – et même dans ce cas –, être patient fera des merveilles. J’aime souvent comparer les progrès en matière d’apprentissage automatique avec les progrès réalisés dans les activités sportives. Souvent, en tant que débutant, vous échouerez beaucoup, très souvent au début ; dans les premiers jours et mois de la nouvelle activité.

Prenez l’apprentissage du poirier, par exemple. Jusqu’à ce que vous maîtrisiez l’équilibre pour maintenir votre poids au-dessus de votre tête et que vous ayez développé la force en premier lieu, cela prend un certain temps. Et en apprenant à le faire, vous rencontrerez également de nombreux échecs. Vous ne verrez probablement aucun progrès au début.

Avec l’apprentissage automatique, c’est pareil. Il faudra quelques itérations sur un projet jusqu’à ce qu’il soit suffisamment bon. En cours de route, votre travail sera rejeté et critiqué, jusqu’à ce qu’il soit jugé suffisamment bon. Cela m’est arrivé aussi, bien sûr. Un de mes articles a été rejeté quatre fois en deux ans jusqu’à ce que je le fasse finalement accepter lors d’une conférence A*.

Pendant ces périodes, j’ai dû soumettre à nouveau le document encore et encore, et refaire l’histoire, l’expérience, presque tout. Je mentirais si je disais que j’ai toujours été positif. Non, de temps en temps, j’aurais été plus qu’heureux de laisser tomber le journal et de me concentrer sur autre chose. Mais — patience. Je me suis concentré sur ce que je pouvais faire à ce moment-là, c’est-à-dire refaire et soumettre à nouveau. Et puis attendre.

Maintenant il est accepté, mais si je n’avais pas été assez patient, il ne serait certainement PAS publié maintenant.

Optimisme

Cela m’amène à la leçon suivante. Vous devez cultiver un optimisme sain (ou, une saine ignorance). Lorsque vous travaillez sur un projet, comme un document de recherche ou un déploiement, vous rencontrerez inévitablement des obstacles. Persister est nécessaire, mais il ne suffit pas de persister.

Je pense que vous devez être silencieusement optimiste quant à votre travail. Les autres peuvent dire ce qu’ils pensent et vous pouvez écouter, mais en fin de compte, c’est votre travail. Tant que vous faites confiance aux progrès, tout va généralement bien. Ou, pour être plus précis : tant que vous faites confiance au processus la majorité du temps, tout va bien.

Discipline

Encore une fois, cela nous amène naturellement à la leçon suivante qui sous-tend mes dernières années : la discipline. Dans notre quotidien, il y a sûrement des choses plus engageantes en ce moment. Eh bien, s’asseoir pour lire un autre article est intéressant, mais consulter Twitter ou YouTube est plus engageant. Mais cela ne vous fera pas avancer, ni même ne vous fera reculer activement.

Pour progresser, vous devez ignorer les déviations et les distractions quotidiennes. Vous aurez besoin de la qualité qui a été louée dans toutes les disciplines dans la majeure partie de l’humanité : la discipline. Lorsque vous préparez un examen, vous le faites, quelles que soient les circonstances. Lorsque vous rédigez un rapport de laboratoire, vous le faites, même si vos pairs font la fête. Lorsque vous rédigez une thèse, vous le faites indépendamment du départ des autres en vacances.

Avoir presque rédigé un rapport ne compte pas. Une thèse presque écrite non plus. Ce n’est que si vous parvenez à vous concentrer et à faire preuve de discipline que vous pourrez avancer. Mon « secret » est de donner la priorité aux choses importantes, jour après jour. J’essaie de respecter ce calendrier à 80 % pour le rendre réaliste et réalisable. J’ai trouvé que cela fonctionnait plutôt bien.

Projets

C’est une leçon spécifique aux personnes qui préparent une thèse (de doctorat) : il faut un projet suffisamment bon pour travailler. Cela n’a peut-être pas trop d’importance si vous êtes suffisamment intelligent. Ce qui compte le plus, c’est que votre sujet soit suffisamment spécialisé/nouveau ET suffisamment stable pour que les autres s’en soucient et que vous puissiez utiliser vos atouts là-dessus.

Il y a quelques années, j’avais un collègue qui étudiait les capacités émergentes des LLM. C’est un sujet assez intéressant, et je l’ai découvert lors de l’ICLR 2024 à Vienne, où j’ai vu des affiches à ce sujet. Mon collègue était très compétent dans ses connaissances en matière de modèles de transformateur et ses compétences en programmation. Cependant, le domaine était TROP nouveau, trop instable. Les modèles avançaient trop vite et il ne parvenait pas à maîtriser le sujet. En fin de compte, cela l’a épuisé et il est passé à autre chose. (Il va bien maintenant !)

Équipes

J’ai réservé la leçon la plus importante pour la fin. Il est souvent plus important de savoir avec qui vous travaillez que ce dans quoi vous travaillez. (Si vous cochez les deux, ce qui signifie que vous avez un bon groupe ET que votre travail est sympa, alors vous êtes particulièrement chanceux). Si vous êtes bon dans ce que vous faites, mais que votre environnement ne vous permet pas de l’utiliser, alors vous n’êtes pas au bon endroit. Si vous ne pouvez pas faire d’erreurs, alors vous n’êtes pas au bon endroit. Si vous avez peur de vous présenter, alors vous n’êtes pas au bon endroit.

Il y a cette terminologie de l’efficacité d’une équipe. Vous (et l’équipe) devez d’abord être dans une zone de confort. Cela signifie être bien et bien travailler ensemble. Ce n’est qu’ensuite que vous pourrez accéder à la zone à haut rendement, où vous produirez du bon travail sous pression. Assurez-vous que vous êtes également là.

Pensées finales

En examinant les leçons, aucune d’entre elles n’est unique en matière d’apprentissage automatique. Ce sont plutôt les mêmes vieilles choses qui ont défini le bon progrès de l’humanité au cours des derniers millénaires. Ce n’est pas mauvais, bien au contraire : si une technologie venait bouleverser tout ce qui nous accompagne depuis, alors nous serions perdus. Ainsi, il est réconfortant de voir réapparaître les enseignements classiques :

• Sois patient
• Soyez optimiste
• Soyez discipliné

et aussi les cours plus passionnés

• Travaillez sur quelque chose où vous pouvez utiliser vos forces
• Choisissez des équipes bonnes et saines

Rien de nouveau et tout est pertinent.