Leçons apprises après 8 ans d’apprentissage automatique

vieux d’une décennie maintenant.

À l’époque, OpenAI ressemblait à une startup (bien cuite) parmi d’autres. DeepMind existait déjà, mais pas encore complètement intégré à Google. Et, à l’époque, la « triade de l’apprentissage profond » – LeCun, Hinton et Bengio – a publié Apprentissage profond dans Nature*.

Aujourd’hui, l’IA s’apparente à un bien commun. À l’époque, c’étaient surtout les universitaires et les passionnés de technologie qui le connaissaient et s’en souciaient. Aujourd’hui, même les enfants savent ce qu’est l’IA et interagissent avec elle (pour le pire ou pour le pire). même pire).

C’est un domaine en évolution rapide, et j’ai la chance de ne l’avoir rejoint que peu de temps après « à l’époque » – il y a huit ans, lorsque l’élan prenait de l’ampleur mais que le ML classique était encore enseigné dans les universités : clustering, k-means, SVM. Cela a également coïncidé avec l’année où la communauté a commencé à comprendre que l’attention (et les couches linéaires) était tout ce dont nous avions besoin. En d’autres termes, c’était le moment idéal pour commencer à en apprendre davantage sur l’apprentissage automatique.

Alors que l’année se termine, le moment semble venu de prendre du recul. Chaque mois, je réfléchis à de petites leçons pratiques et je les publie. Environ tous les six mois, je recherche ensuite les thèmes plus larges en dessous : les modèles qui reviennent sans cesse, même lorsque les projets changent.

Cette fois, quatre fils de discussion apparaissent partout dans mes notes :

• Deep Work (mon préféré de tous les temps)
• Sur-identification à son travail
• Sport (et mouvement en général)
• Bloguer

Travail en profondeur

Deep Work semble être mon thème préféré – et dans l’apprentissage automatique, il apparaît partout.

Les travaux d’apprentissage automatique peuvent avoir plusieurs points centraux, mais la plupart des journées tournent autour d’une combinaison de :

• théorie (mathématiques, preuves, raisonnement minutieux),
• codage (pipelines, boucles de formation, débogage),
• rédaction (rapports de projet, articles, documentation).

Tous nécessitent une concentration soutenue pendant une période prolongée.

Les preuves de théorèmes n’émergent pas de fragments de cinq minutes. Il va sans dire que le codage punit les interruptions : si vous êtes plongé dans un bug et que quelqu’un vous retire, vous ne vous contentez pas de « reprendre », vous devez reconstruire, ce qui ne fait que perdre du temps**.

L’écriture aussi est fragile. Rédiger de bonnes phrases nécessite de l’attention, et l’attention est la première chose qui disparaît lorsque votre journée se transforme en une séquence de petits pings de messages.

J’ai la chance de travailler dans un environnement qui permet plusieurs heures de travail en profondeur, plusieurs fois par semaine. Ce n’est pas la norme – honnêtement, cela pourrait être l’exception. Mais c’est incroyablement enrichissant. je peut plonger dans un problème pendant des heures et en ressortir épuisé après.

Épuisé, mais satisfait.

Pour moi, le travail en profondeur a toujours signifié deux choses, et je l’ai déjà souligné il y a six mois :

1. La compétence: être capable de se concentrer profondément pendant de longues périodes.
2. L’environnement: avoir des conditions qui permettent et protègent cette concentration.

Habituellement, la compétence est plus facile à acquérir (ou à réacquérir) si vous ne la possédez pas. C’est l’environnement qui est plus difficile à changer. Vous pouvez vous entraîner se concentrermais vous ne pouvez pas à vous seul supprimer des réunions de votre calendrier ou changer la culture de votre entreprise du jour au lendemain.

Pourtant, il est utile de nommer les deux parties. Si vous avez du mal à travailler en profondeur, ce n’est peut-être pas un manque de discipline. Parfois, comme me le disent mes expériences, c’est simplement que votre environnement ne permet pas ce que vous essayez de faire.

Sur-identification à son travail

Aimez-vous votre travail?

Espérons-le, car une grande partie de vos heures d’éveil est consacrée à cela. Mais même si vous aimez généralement votre travail, il y aura des moments où vous l’aimerez davantage – et des moments où vous l’aimerez moins.

Comme tout le monde, j’ai eu les deux.

Il y a eu des périodes où je me sentais secoué d’énergie simplement par le fait que je « faisais quelque chose avec ML ».

Ouah!

Et puis il y a eu des périodes où le manque de progrès – ou un revers parce qu’une idée ne fonctionnait tout simplement pas – m’a lourdement tiré vers le bas.

Pas-wow.

Au fil des années, j’en suis venu à croire que tirer trop d’identité du travail n’est généralement pas une stratégie intelligente. Le travail sur et avec le ML est plein de variations : les expériences échouent, les lignes de base dépassent vos idées fantaisistes, les réviseurs se méprennent, les délais sont compressés, les données sont interrompues, les priorités changent. Si votre estime de soi augmente et diminue avec la dernière course d’entraînement, vous pourriez tout aussi bien visiter Disneyland pour un tour de montagnes russes.

Une analogie simple : imaginez que vous êtes un gymnaste. Vous vous entraînez pendant des années. Vous êtes flexible, fort, maître de vos mouvements. Ensuite, tu te casses la cheville. Du coup, on ne peut même plus faire les sauts les plus simples. Vous ne pouvez pas vous entraîner de la même manière que vous l’avez fait les années précédentes. Si tu es seulement un athlète – si c’est toute l’identité – vous aurez l’impression de vous perdre.

Heureusement, la plupart des gens sont plus que leur profession. Même s’ils l’oublient parfois.

La même chose s’applique au ML. Vous pouvez être un ingénieur ML, un chercheur ou un « théoricien » – et également être un ami, un partenaire, un frère ou une sœur, un coéquipier, un lecteur, un coureur, un écrivain. Lorsqu’une partie traverse un creux, les autres vous maintiennent stable.

Il ne s’agit pas de dire « je m’en fiche de mon travail ». Il s’agit de prendre soin sans s’effondrer.

Le sport ou le mouvement en général

Certes, c’est une évidence.

Les emplois en ML ne sont pas connus pour contenir beaucoup de mouvement. Les kilomètres que vous parcourez sont des kilomètres de doigts sur le clavier. Pendant ce temps, le reste du corps reste immobile.

Je n’ai pas besoin d’entrer dans ce qui se passe si vous laissez simplement que arriver.

La bonne nouvelle est qu’il est plus facile que jamais de contrer cette situation. Il existe désormais de nombreuses options ennuyeuses mais efficaces :

• bureaux réglables en hauteur
• réunions passées à marcher (surtout lorsque les caméras sont éteintes de toute façon)
• tapis de marche sous le bureau
• routines de mobilité courtes (idéalement, entre des blocs de travail profonds)

Au fil des années, le mouvement est devenu partie intégrante de ma journée de travail. Cela m’aide à commencer la journée dans un état plus doux – ni raide, ni affalé, ni déjà « comprimé ». Et cela m’aide à m’épuiser après un travail approfondi. Une concentration profonde est fatigante mentalement, mais a également des effets physiques : les épaules se soulèvent, le cou retombe en avant, la respiration devient superficielle.

Déménager réinitialise cela.

Je ne considère pas cela comme du « fitness ». Je le traite comme une assurance qui me permet de faire mon travail pendant des années.

Bloguer

Daniel Bourke.***

Si vous lisez du contenu ML sur Towards Data Science depuis longtemps (au moins cinq, six ans), ce nom peut vous sembler familier. Il a publié de nombreux articles sur le ML (lorsque TDS était encore hébergé sur Medium), et son style d’écriture unique a amené le ML à un public plus large.

Son exemple m’a inspiré à commencer à bloguer également, également pour TDS. J’ai commencé fin 2019, début 2020.

Au début, rédiger ces articles était simple : écrire un article, le publier, passer à autre chose. Mais au fil du temps, c’est devenu autre chose : une pratique. L’écriture oblige à la précision dans la mise sur papier de vos pensées. Si vous ne parvenez pas à expliquer quelque chose de manière cohérente, vous ne le comprenez probablement pas aussi bien que vous le pensez.

Au fil des années, j’ai couvert les feuilles de route de l’apprentissage automatique, écrit des didacticiels (comme comment gérer les TFRecords) et, oui, j’ai continué à revenir au travail en profondeur – car cela continue de s’avérer important pour les praticiens du ML.

Et bloguer a été gratifiant de deux manières.

Cela a été gratifiant en termes monétaires (au point qu’au fil des années, cela a contribué à financer l’ordinateur que j’utilise pour écrire ceci). Mais plus important encore, cela a été enrichissant en tant que pratique d’écriture. Je considère le blog comme un moyen d’entraîner ma capacité à traduire : prendre quelque chose de technique et le mettre en mots qu’un autre public peut réellement comprendre.

Dans un domaine qui évolue rapidement et aime la nouveauté, une telle compétence en traduction est étrangement stable. Les modèles changent. Les cadres changent (Theano, ça vous dit ?). Mais la capacité de penser clairement et d’écrire clairement est complexe.

Pensées finales

Après huit années passées à « faire du ML », aucun de ces thèmes ne concerne un modèle spécifique ou une astuce spécifique.

Il s’agit de :

• Un travail en profondeur, qui permet de progresser.
• Pas de sur-identification, ce qui permet de survivre aux revers.
• Mouvement, qui empêche votre corps de se dégrader silencieusement.
• Le blogging, qui transforme l’expérience en quelque chose de partageable et entraîne la clarté.

Le plus drôle, c’est que ce sont toutes des leçons « ennuyeuses ».

Mais ce sont eux qui continuent à apparaître.

---

Références

* L’article sur l’apprentissage profond sur Nature de LeCun, Bengio et Hinton : https://www.nature.com/articles/nature14539; la section de référence annotée mérite en elle-même une lecture.

** Voir un résumé assez accessible de l’American Psychological Association sur https://www.apa.org/topics/research/multitasking.

*** Page d’accueil de Daniel Bourke avec ses articles sur l’apprentissage automatique : https://www.mrdbourke.com/tag/machine-learning.