Le trajet d’une requête IA locale

Le trajet d’une requête IA locale A data-flow diagram generated by Archify. 01 / Demander 02 / Préparer 03 / Exécuter 04 / Mémoriser 05 / Restituer Interface · navigateur ou application · 01 / Demander Interface navigateur ou application Documents locaux · notes et fichiers · 01 / Demander Documents locaux notes et fichiers API locale · reçoit la requête · 02 / Préparer API locale reçoit la requête Tokenizer · texte vers tokens · 02 / Préparer Tokenizer texte vers tokens Recherche · retrouve le contexte · 03 / Exécuter Recherche retrouve le contexte Moteur d’inférence · planifie le calcul · 03 / Exécuter Moteur d’inférence planifie le calcul Modèle chargé · CPU, GPU et mémoire · 04 / Mémoriser Modèle chargé CPU, GPU et mémoire KV cache · contexte déjà calculé · 04 / Mémoriser KV cache contexte déjà calculé Réponse progressive · tokens décodés · 05 / Restituer Réponse progressive tokens décodés requête texte texte entrée tokens entiers passages local contexte utile local calcul matriciel privé clés et valeurs temporaire tokens générés flux Legend primary data async batch data store data flow

Ce qui reste local

  • • La requête, les documents et le modèle peuvent rester sur la machine
  • • Le runtime orchestre le matériel sans envoyer les données à un service distant
  • • Les journaux et extensions doivent néanmoins être vérifiés séparément

Ce qui consomme la mémoire

  • • Les poids du modèle occupent la part principale
  • • Le KV cache grandit avec le contexte et la génération
  • • Les buffers du runtime s’ajoutent au budget théorique