La bonne machine n'est pas celle qui possède le plus grand GPU. C'est celle qui exécute vos modèles à une vitesse acceptable, contient vos données et reste supportable en coût, bruit, consommation et maintenance.
Commencer par les usages
Listez trois tâches prioritaires. Pour chacune, notez le type de modèle, la fréquence, le nombre d'utilisateurs, la latence acceptable et la confidentialité attendue.
La mémoire avant les coeurs
Un modèle doit tenir dans la mémoire accessible au runtime. Sur un GPU discret, la VRAM constitue le chemin le plus rapide. Si les poids débordent vers la RAM, l'offloading peut maintenir le fonctionnement, mais le transfert devient un goulot d'étranglement.
Trois architectures courantes
PC avec GPU discret
Bon contrôle, mise à niveau possible et large écosystème.
- VRAM séparée
- Consommation et bruit à gérer
- Compatibilité à vérifier selon le GPU
Mémoire unifiée
CPU et GPU partagent un même espace mémoire.
- Grande capacité accessible
- Débit variable selon la puce
- Mise à niveau impossible après achat
Un mini PC sans GPU peut convenir à de petits modèles, aux embeddings et à l'orchestration. Une workstation GPU vise le débit et la génération d'image ou de vidéo. Un serveur rack n'est pertinent que si son bruit, sa chaleur et son administration sont acceptables.
Compatibilité logicielle
NVIDIA bénéficie d'un écosystème CUDA très répandu. AMD s'appuie notamment sur ROCm, avec une compatibilité qui dépend du système, du GPU et du framework. Apple Silicon utilise Metal et une mémoire unifiée. Les runtimes CPU comme llama.cpp offrent une large portabilité.
Vérifiez le support du modèle et du runtime avant l'achat. Une fiche technique ne garantit pas qu'un logiciel exploite correctement le matériel.
Alimentation, chaleur et bruit
Un GPU puissant peut demander une alimentation renforcée, un boîtier adapté et un refroidissement conséquent. La puissance maximale ne décrit pas la consommation moyenne, mais elle dimensionne l'installation.
Dans un espace de vie, le bruit au repos et en charge devient un critère de produit. Dans un serveur distant, l'accès physique, la ventilation et la protection électrique comptent davantage.
Un ordre de décision
- Définissez les modèles et la concurrence attendue.
- Estimez la mémoire maximale.
- Vérifiez la compatibilité du runtime.
- Fixez une latence acceptable.
- Calculez le coût complet : machine, stockage, électricité et sauvegarde.
- Vérifiez le bruit, l'espace et la maintenance.
Acheter avec une marge utile
Une marge de mémoire permet d'augmenter le contexte, d'utiliser un modèle légèrement plus grand ou de garder plusieurs services. Une marge de puissance sans usage clair apporte moins de valeur. Privilégiez la ressource qui limite réellement votre flux de travail.
L’essentiel
- Partez de vos usages : modèles, fréquence, nombre d'utilisateurs, latence et confidentialité.
- La mémoire passe avant le nombre de coeurs : le modèle complet doit tenir avec une marge.
- GPU discret, mémoire unifiée et mini PC répondent à des besoins différents.
- La compatibilité logicielle se vérifie avant l'achat, pas après.
- Comptez le coût complet : électricité, bruit, chaleur, stockage et sauvegarde.
Testez-vous
Répondez de tête ou par écrit, puis vérifiez. Se tester juste après la lecture aide à retenir.
Pourquoi une carte plus lente peut-elle être un meilleur choix ?
Voir la réponse
Si elle a assez de VRAM pour contenir le modèle complet, elle évite l'offloading. Une carte rapide mais trop petite devra déplacer des couches en RAM et ralentira fortement.
Quel est l'intérêt principal d'une architecture à mémoire unifiée ?
Voir la réponse
CPU et GPU partagent un grand espace mémoire, ce qui permet de charger de gros modèles. En contrepartie, le débit varie selon la puce et la mémoire ne s'agrandit pas après l'achat.
Pourquoi se méfier d'un ancien serveur bon marché ?
Voir la réponse
Sa consommation, son bruit, son stockage propriétaire et l'absence d'instructions modernes peuvent annuler l'économie réalisée à l'achat.
Sources et pour aller plus loin
- Matériel pris en charge par Ollama : les GPU NVIDIA, AMD et Apple reconnus par le runtime.
- Matrice de compatibilité ROCm : les cartes AMD et systèmes pris en charge.
- MLX : le framework d'Apple pour exploiter la mémoire unifiée des puces Apple Silicon.