Le document qui ne « rentrait » pas#
Vous collez un long rapport dans un assistant d'IA et il vous répond que le texte est trop long. Ou, plus sournois : il l'accepte, mais sa réponse ignore manifestement les dernières pages. Une autre fois, après deux heures de conversation, il semble avoir oublié une consigne donnée au début.
Ces trois situations ont la même explication, et elle tient en un mot : token.
Qu'est-ce qu'un token en IA ?#
Le texte découpé en morceaux#
Un modèle de langage ne lit pas des lettres, ni vraiment des mots. Avant tout traitement, le texte est découpé en tokens : des morceaux qui peuvent être un mot entier (« le », « table »), un fragment (« inter », « nation », « al »), un espace ou un signe de ponctuation. C'est cette suite de morceaux que le modèle reçoit, et c'est token après token qu'il écrit sa réponse.
Combien de mots pour un token ?#
OpenAI donne dans son centre d'aide un ordre de grandeur pour l'anglais : un token correspond à environ quatre caractères, soit à peu près trois quarts de mot, et 100 tokens à environ 75 mots. Le découpage dépend du modèle et de la langue : les mots longs, les accents, les noms propres et les codes se découpent souvent en davantage de morceaux. Pour un compte exact, les éditeurs proposent des outils de comptage dédiés.
L'ordre de grandeur suffit pour raisonner : une page de texte représente quelques centaines de tokens, un document de cinquante pages en représente des dizaines de milliers.
Pourquoi le token IA fixe la mémoire#
La fenêtre de contexte#
Chaque modèle a une fenêtre de contexte : le nombre maximal de tokens qu'il peut prendre en compte en une fois. Tout y entre : les consignes de l'outil, l'historique de la conversation, vos documents et la réponse en cours d'écriture. Notre guide sur les LLM explique en détail ce mécanisme.
Quand la conversation dépasse cette fenêtre, l'outil doit faire un choix : refuser, tronquer, ou résumer le début. C'est pour cela qu'une très longue conversation finit par « oublier » sa première consigne.
Plus de place ne veut pas dire meilleure lecture#
Les fenêtres de contexte des modèles récents sont devenues très grandes. C'est utile, mais remplir la fenêtre n'est pas gratuit en qualité : plus il y a de texte, plus l'information utile est noyée. Un modèle qui reçoit les trois pages pertinentes répond généralement mieux qu'un modèle qui reçoit les trois cents pages du classeur. C'est tout l'intérêt de la technique du RAG, qui va chercher les bons passages avant de répondre.
Pourquoi le token fixe le prix#
Les fournisseurs de modèles facturent l'usage de leur API au token, avec deux tarifs distincts : les tokens lus (ce que vous envoyez) et les tokens écrits (ce que le modèle produit), ces derniers étant en général plus chers. Les grilles se consultent sur les pages de tarifs des éditeurs, et elles changent régulièrement.
Deux conséquences pratiques :
- l'historique se repaie : à chaque nouveau message, la conversation entière repart au modèle. Une conversation de deux heures coûte donc bien plus cher par message qu'une conversation neuve ;
- les documents pèsent : joindre un gros fichier « au cas où » consomme des tokens à chaque échange, qu'il serve ou non.
Les assistants grand public cachent ce compteur derrière un abonnement et des limites d'usage. Il existe quand même : c'est lui qui déclenche le message « vous avez atteint votre limite ».
Cinq habitudes pour économiser les tokens#
- Ouvrir une nouvelle conversation par sujet. Un fil neuf ne traîne pas l'historique d'un autre dossier.
- Joindre l'extrait plutôt que le classeur. Si trois pages suffisent, n'envoyez pas les trois cents.
- Demander des réponses à la bonne longueur. « En cinq lignes » coûte moins et se lit plus vite.
- Écrire les règles une fois. Une consigne répétée à chaque message se paie à chaque message.
- Laisser le calcul au code. Faire additionner mille lignes par le modèle coûte cher et se trompe ; un vrai calcul coûte presque rien.
Dans AIKeep, la règle 4 est déjà réglée : les règles de la maison vivent dans une mémoire que vous validez, et la consigne de chaque rôle de l'IA se lit dans les Paramètres. On ne réexplique pas tout à chaque message.
Et chez vous ?#
Ouvrez l'outil de comptage de tokens d'un éditeur et collez-y un de vos documents types : un contrat, un compte rendu, un tableau exporté. Vous saurez en dix secondes combien il « pèse », et vous regarderez vos longues conversations d'un autre œil.