Imaginez un immense tableau de nombres. Pris séparément, ces nombres ne veulent rien dire pour nous. Ensemble, ils définissent la manière dont le modèle réagit à une entrée. Ces nombres sont les paramètres, souvent appelés les poids du modèle.
Le parcours complet
Ce parcours comporte deux moments très différents. Pendant l'entraînement, le système compare ses prédictions aux réponses attendues et ajuste ses paramètres. Pendant l'inférence, il garde ces paramètres fixes et les utilise pour répondre à une nouvelle demande.
Le type d'entrée et de sortie dépend du modèle. Un LLM manipule surtout des tokens. Un modèle d'image transforme souvent un texte et un bruit initial en image. Un modèle multimodal peut combiner texte, image ou audio.
Une analogie utile
Pensez à une personne qui apprend à cuisiner. Elle lit des recettes, observe des gestes et corrige ses erreurs. Cette phase correspond à l'entraînement. Une fois l'apprentissage terminé, elle peut recevoir une nouvelle demande et préparer un plat. Cette phase correspond à l'inférence.
L'analogie a une limite importante. Un modèle ne comprend pas une recette comme une personne. Il calcule des relations statistiques entre des représentations numériques. Le résultat peut être convaincant sans être vrai.
Paramètres, poids et architecture
L'architecture décrit la forme générale du système: les couches, leurs connexions et les opérations disponibles. Les paramètres sont les valeurs apprises à l'intérieur de cette architecture. Le mot poids désigne couramment ces valeurs, même si certains paramètres jouent d'autres rôles.
Un modèle annoncé à 8B possède environ 8 milliards de paramètres. Cela ne signifie pas qu'il stocke 8 milliards de faits. Cela décrit la taille de son système de calcul appris.
Entraînement et inférence
Entraînement
Le modèle voit beaucoup d'exemples, mesure ses erreurs et modifie ses paramètres.
- Très coûteux en calcul
- Utilise des données préparées
- Produit ou adapte des poids
Inférence
Le modèle reçoit une nouvelle entrée et produit une sortie avec des poids déjà fixés.
- Beaucoup moins coûteux
- Possible sur une machine locale
- Dépend de la mémoire disponible
Exemple concret
Vous téléchargez un modèle de langage open weights et vous lui posez une question. Votre logiciel transforme le texte en tokens. Le modèle calcule la probabilité du prochain token, l'ajoute, puis recommence. La phrase apparaît progressivement.
Ce que l'exécution locale change
En local, vous contrôlez le fichier de poids, le logiciel d'inférence et les données envoyées au modèle. En échange, votre machine doit contenir les poids, le contexte et les buffers de calcul. Le choix du modèle devient donc un problème de capacité mémoire autant que de puissance.
L’essentiel
- Un modèle d'IA est un calcul défini par des milliards de paramètres appris à partir d'exemples.
- L'entraînement ajuste ces paramètres ; l'inférence les utilise, figés, pour répondre.
- L'architecture fixe la forme du calcul, les paramètres en fixent le comportement.
- Une réponse fluide est plausible, pas forcément vraie : vérifiez les faits importants.
- En local, la mémoire disponible décide souvent du modèle utilisable.
Testez-vous
Répondez de tête ou par écrit, puis vérifiez. Se tester juste après la lecture aide à retenir.
Que signifie l'indication 8B sur un modèle ?
Voir la réponse
Le modèle compte environ 8 milliards de paramètres. Cela décrit la taille de son système de calcul, pas un nombre de faits stockés.
Pendant quelle phase les poids du modèle changent-ils ?
Voir la réponse
Pendant l'entraînement. À l'inférence, les poids restent fixes : le modèle les utilise pour calculer une réponse à une nouvelle entrée.
Pourquoi une réponse bien rédigée peut-elle être fausse ?
Voir la réponse
Le modèle produit la suite la plus plausible selon son apprentissage et son contexte. La plausibilité de la forme ne garantit pas l'exactitude du contenu.
Sources et pour aller plus loin
- Machine Learning Crash Course de Google : les bases de l'apprentissage automatique, avec exercices.
- Série Neural Networks de 3Blue1Brown : des animations très claires sur les réseaux de neurones et les Transformers (en anglais, sous-titres disponibles).