CPU, RAM, GPU et VRAM

Une machine d'IA locale n'est pas seulement un GPU. Le processeur, la mémoire système, la mémoire vidéo, le stockage et les bus coopèrent. Le maillon limitant change selon le modèle et le logiciel.

Les quatre rôles

Pourquoi la VRAM compte autant

Un GPU très rapide ne peut pas calculer directement sur des poids qui ne tiennent pas dans sa mémoire. Le logiciel doit alors déplacer des couches vers la RAM ou utiliser le CPU. Ce mécanisme, appelé offloading, permet de lancer un modèle plus grand, mais le bus PCIe et la RAM sont bien plus lents que la VRAM.

La bande passante mémoire mesure la quantité de données que la mémoire peut fournir par seconde. Pendant la génération d'un LLM, les poids sont relus de nombreuses fois. Une carte avec davantage de bande passante peut donc produire plus de tokens par seconde, même si deux GPU affichent une puissance de calcul proche.

Le CPU

Le CPU exécute le système, les runtimes, la tokenization et les tâches qui entourent le modèle. Ses coeurs et threads améliorent le parallélisme. Ses instructions vectorielles, comme AVX2 ou AVX-512 sur les processeurs compatibles, accélèrent les calculs numériques.

Avec llama.cpp, une inférence entièrement sur CPU reste possible. Elle convient aux petits modèles, aux usages peu fréquents ou aux machines sans GPU compatible. La RAM disponible devient alors la limite principale.

RAM système et VRAM

La RAM DDR4 ou DDR5 est plus grande et moins chère que la VRAM, mais sa bande passante est généralement bien plus faible. Une configuration de 64 Go de RAM peut charger un modèle volumineux que 12 Go de VRAM ne contiennent pas. Cela ne garantit pas une génération rapide.

Stockage et chargement

Un SSD NVMe réduit le temps de téléchargement, de copie et de chargement des modèles. Il ne remplace pas la RAM pendant l'inférence. Un HDD peut servir d'archive, mais il ralentit fortement les chargements et les mises à jour.

Prévoyez aussi l'espace pour plusieurs quantizations, les caches, les modèles d'embedding, les VAE et les sorties générées. Une bibliothèque locale grandit vite.

Une méthode de choix

1. Listez les modèles et outils que vous voulez réellement utiliser.
2. Estimez la taille des poids dans la quantization visée.
3. Ajoutez une marge pour contexte et buffers.
4. Vérifiez la compatibilité logicielle CUDA ou ROCm.
5. Comparez consommation, bruit, alimentation et refroidissement.

L’essentiel

• CPU, RAM, GPU et VRAM jouent des rôles différents ; le maillon limitant dépend du modèle.
• La première question est souvent : le modèle et son contexte tiennent-ils en mémoire ?
• L'offloading permet de lancer un modèle trop grand pour la VRAM, au prix d'une forte baisse de vitesse.
• La bande passante mémoire influence directement le débit de génération d'un LLM.
• Vérifiez la compatibilité CUDA ou ROCm de votre runtime avant d'acheter.

Testez-vous

Répondez de tête ou par écrit, puis vérifiez. Se tester juste après la lecture aide à retenir.

1. Pourquoi la VRAM compte-t-elle souvent plus que la puissance du GPU ?

   Voir la réponse

   Un GPU ne peut calculer rapidement que sur des données présentes dans sa mémoire. Si le modèle ne tient pas en VRAM, une partie passe par la RAM et le bus PCIe, beaucoup plus lents.

2. Une machine sans GPU avec 64 Go de RAM peut-elle faire tourner un grand modèle ?

   Voir la réponse

   Oui, elle peut le charger, par exemple avec llama.cpp sur CPU. Mais la génération sera beaucoup plus lente qu'en VRAM, car la bande passante de la RAM est plus faible.

3. Un SSD NVMe rapide remplace-t-il la RAM pendant l'inférence ?

   Voir la réponse

   Non. Il accélère le téléchargement et le chargement des modèles, mais l'inférence a besoin des poids en RAM ou en VRAM.

Sources et pour aller plus loin

• llama.cpp : le runtime de référence pour l'inférence sur CPU, GPU et en mode mixte.
• Documentation ROCm d'AMD : le calcul GPU sur cartes AMD et les cartes prises en charge.
• CUDA Zone de NVIDIA : la plateforme de calcul des GPU NVIDIA.