/ EN CLAIR
Un token est un morceau de mot : en français, entre un demi-mot et un mot selon les cas. Le modèle ne lit pas des lettres ni des mots, il lit cette suite de morceaux, et il en produit une à son tour.
C'est l'unité qui compte partout : la fenêtre de contexte se mesure en tokens, et la facture aussi, à l'entrée comme à la sortie. Renvoyer tout l'historique à chaque tour d'une conversation, c'est repayer l'historique à chaque tour.
Ordre de grandeur utile : une page A4 bien remplie tourne autour de 700 à 900 tokens. De quoi estimer un coût avant de lancer un traitement sur mille documents.
/ COMMENT ÇA MARCHE
Ce que faitun token, dans l'ordre.
- 01Ton texte est découpéEn morceaux de mots, pas en lettres ni en mots entiers.
- 02Le modèle les litIl n'a jamais vu tes phrases autrement que sous cette forme.
- 03Il en produit à son tourEt chacun est facturé, à l'entrée comme à la sortie.
Une page A4 bien remplie tourne autour de 700 à 900 tokens : de quoi estimer un coût avant de lancer.
CURSOR
CLAUDE
WEBFLOW