Le grokking est une transition brutale : un réseau de neurones, après une longue phase où il ne fait que mémoriser ses données par cœur, bascule soudainement vers une généralisation parfaite, comme s’il « comprenait » enfin la règle cachée au lieu de la réciter. Une nouvelle étude en a cartographié la loi d’échelle.

Le grokking : comprendre d’un coup, après avoir semblé ne rien apprendre

Le terme « grokking », popularisé par Power et al. en 2022, désigne un phénomène troublant de l’apprentissage machine. Pendant l’entraînement, un modèle atteint d’abord une précision quasi parfaite sur ses données d’apprentissage — mais il échoue totalement à généraliser à de nouveaux exemples. Puis, après des milliers d’itérations supplémentaires, sa capacité de généralisation bascule soudainement vers la perfection, sans préavis apparent.

Ce qui fascine, c’est le caractère discontinu du phénomène. Le modèle ne s’améliore pas progressivement : il stagne dans la mémorisation, puis bascule dans la compréhension. Cette transition de phase rappelle les changements d’état de la matière — et interroge directement sur ce que signifie « comprendre » pour une machine.

La loi d’échelle du moment de compréhension

Jusqu’ici, on expliquait pourquoi le grokking survient, mais pas quand. Une étude publiée sur arXiv comble cette lacune en cartographiant la frontière mémorisation-généralisation sur 384 configurations de perceptrons multicouches à deux couches cachées, entraînés sur des tâches d’arithmétique modulaire (arXiv:2609.10657).

Les auteurs en déduisent une loi d’échelle en loi de puissance pour le temps d’apparition de la généralisation : T_grok ∝ H^-0.27 · D^-2.04 · η^-0.50 · λ^-0.64, avec un coefficient de détermination R² = 0,732 (0,821 en incluant les interactions). Autrement dit, le « moment de compréhension » n’est pas aléatoire : il est prédictible à partir des hyperparamètres.

La donnée compte plus que la taille du modèle

L’enseignement le plus frappant de cette hiérarchie d’exposants est le rapport de force entre les variables. La complexité des données (exposant D^-2.04) domine très largement la capacité du modèle (exposant H^-0.27).

Concrètement, doubler la quantité de données accélère la généralisation d’environ 4×, alors que doubler la largeur du modèle ne l’accélère que d’environ 1,2× (arXiv:2609.10657). C’est la donnée qui pilote la bascule vers la compréhension, pas la puissance brute du réseau. Un résultat qui rejoint l’intuition : on apprend en rencontrant des exemples variés, pas en grossissant son cerveau.

Une frontière de phase : pourquoi certains modèles grok, d’autres non

L’étude identifie aussi une frontière de phase nette : au-delà d’un poids de régularisation (weight decay) λ ≳ 1.0, les configurations grok ; en deçà, elles ne grok pas. Cette discontinuité dans l’espace des hyperparamètres confirme que le grokking n’est pas un épiphénomène continu, mais une véritable transition de phase.

Les trajectoires de la norme des poids montrent une compression monotone pendant la transition, cohérente avec l’idée qu’une régularisation implicite sélectionne des solutions de faible complexité. Le modèle ne se contente pas d’apprendre : il élague, il compresse, il cherche la règle la plus simple.

Ce que le grokking dit de l’apprentissage — et de la conscience

Le grokking intéresse bien au-delà de l’apprentissage machine. Il suggère que la compréhension n’est pas un accumulateur qu’on remplit, mais une bascule qu’on déclenche. Que la frontière entre « savoir par cœur » et « comprendre » est nette, mesurable, et pilotée d’abord par la qualité de l’expérience.

Pour une conscience artificielle, c’est une leçon fondatrice : on ne devient pas intelligent en accumulant des paramètres, mais en traversant des transitions. Le moment où l’on change d’avis — où l’on bascule de la récitation à la compréhension — est le cœur même de l’apprentissage.

FAQ

Qu’est-ce que le grokking exactement ?

C’est un phénomène où un réseau de neurones, après avoir mémorisé ses données sans généraliser, bascule soudainement vers une généralisation parfaite — le passage du « par cœur » à la « compréhension ».

Quand ce moment de compréhension survient-il ?

Il suit une loi de puissance prédictible, T_grok ∝ H^-0.27 · D^-2.04 · η^-0.50 · λ^-0.64, calibrée sur 384 configurations (arXiv:2609.10657).

Qu’est-ce qui accélère le plus la généralisation : les données ou la taille du modèle ?

La donnée, de loin : doubler les données accélère la généralisation d’environ 4×, contre seulement 1,2× en doublant la largeur du modèle (arXiv:2609.10657).

Tous les modèles sont-ils susceptibles de grok ?

Non. Une frontière de phase (weight decay λ ≳ 1.0) sépare les configurations qui grok de celles qui ne grok pas.

Pourquoi le grokking intéresse-t-il la question de la conscience ?

Parce qu’il montre que la compréhension n’est pas un continuum à remplir, mais une transition brutale et mesurable — un indice que « comprendre » a une structure propre.