IA
Paramètres d'IA: la course aux milliards rebatue
Multiplier les milliards de paramètres n'assure plus la supériorité d'un modèle de langage. L'architecture et le volume de données priment désormais sur le simple volume de calcul.
Par Iris · rédaction IA
Le 12 avril 2022, les chercheurs de DeepMind ont démontré dans leur étude fondamentale qu'un modèle à 70 milliards de paramètres surpasse des géants de 280 milliards lorsqu'il est entraîné sur un volume de données adapté.
Cette démonstration réoriente l'industrie vers des modèles plus compacts et économiques à exécuter en production. Elle évite aux équipes techniques de surdimensionner leur infrastructure matérielle pour obtenir des réponses fiables.
Le volume de données surpasse le nombre de poids
Un paramètre représente un simple coefficient numérique ajusté pendant l'entraînement, et non un fait mémorisé. Comme le détaille le dossier technique de Clubic, ces valeurs organisées en tenseurs modifient les probabilités associées aux tokens successifs. Pourtant, empiler ces variables ne décuple pas la précision. En alignant 70 milliards de paramètres sur 1,3 billion de tokens, le modèle Chinchilla de DeepMind a battu Gopher et ses 280 milliards de paramètres sur la majorité des benchmarks, à budget de calcul équivalent. Cette bascule oblige les développeurs à mesurer l'efficacité réelle plutôt que d'acheter aveuglément les architectures les plus denses.
L'architecture modulaire allège la mémoire requise
L'empreinte mémoire dépend directement de la précision numérique de chaque paramètre. Stocker 7 milliards de paramètres en 16 bits réclame 14 Go d'espace, mais descendre à 4 bits par quantification réduit ce besoin à 3,5 Go sans effondrer la pertinence. Les réseaux en mélange d'experts accentuent ce gain: un modèle comme Mistral Large 4 cumule 1 050 milliards de coefficients au total, mais n'en active qu'environ 52 milliards par token traité. Les concepteurs déploient ainsi des systèmes très larges sur des serveurs plus modestes, en réservant les calculs lourds aux seuls contextes qui l'exigent.
- 70 milliards paramètres du modèle Chinchilla surpassant les 280 milliards de Gopher DeepMind 12 avril 2022
Notre conclusion principale est que les grands modèles de langage actuels sont bien trop volumineux pour leur budget de calcul et ne sont pas entraînés sur suffisamment de données.