knowledge-vault/discussions/project-thinking/AI/强哥的徒弟/Token速查表.md

概览

不同大模型的“1 个中文字符 ≈ 几个 token”并非固定常数，但主流中：绝大多数采用基于 Unicode 字符的（SentencePiece/BPE）分词，常见纯中文正文里“1 字 ≈ 1 token”，混排（数字/英文/空格/标点）会拉低或升高平均值。下面给出主流闭源 / 开源模型的 tokenizer 类型、特点与中文平均映射粗略经验值（工程估算用），以及如何精确计算。

主流模型 Token 计量速查表（经验均值，纯中文语料下）

模型/系列	Tokenizer/算法	中文单字是否多为单独 token	纯中文平均：字:token	100 字约占 tokens	混合中英场景变化	主要实现/库	备注
OpenAI GPT-4 / 4o / 3.5 (cl100k_base系)	tiktoken（改进 BPE）	是	≈ 1.00 : 1	≈ 100	英文单词被拆成多 token，导致“每个中文字成本”相对稳定	tiktoken	部分常见词组（如“人工智能”）仍分成 4 token
Anthropic Claude (2/3/Opus/Sonnet)	SentencePiece Unigram 变体	是	≈ 1.00 : 1	≈ 100	中英混合时英文段膨胀	官方 SDK 内置	少数高频短语合并略降
Google Gemini	SentencePiece (Unigram + 定制)	是	0.95–1.02 : 1	95–102	英文/符号增大差异	PaLM/Gemini SDK	具体权重未公开
Microsoft Azure OpenAI（同 OpenAI）	同 tiktoken	是	≈ 1.00 : 1	≈ 100	同 OpenAI	tiktoken	计费按模型
百度 文心 (ERNIE)	基于 WordPiece/BPE 混合	高频字单 token	1.00–1.05 : 1	100–105	新词可能被拆多 token	平台 API	词表偏向中文高频词
阿里 Qwen (通义千问)	SentencePiece BPE	是	≈ 1.00 : 1	≈ 100	英文长词被拆	tokenizer 模块 (qwen-tokenizer)	保留常见中文字单元
DeepSeek 系列	BPE（近似 tiktoken）	是	0.98–1.02 : 1	98–102	英文段落增量	官方 tokenizer	词表对编程符号友好
Meta Llama 2/3 中文适配	SentencePiece BPE	是	1.00–1.10 : 1（取决于是否中文增强词表）	100–110	若原生英文词表，中文稀有字会拆 bytes→增加	sentencepiece	未做中文特别优化版本略高
Mistral / Mixtral 中文增强版	SentencePiece BPE	多数字单 token	1.00–1.08 : 1	100–108	未收录字 → 多 token	sentencepiece	视发行版词表
Yi (零一万物)	SentencePiece BPE	是	0.98–1.03 : 1	98–103	英文增加	官方 yi-tokenizer	中文覆盖较全
GLM (ChatGLM 系列)	SentencePiece + 字节回退	是	1.00–1.05 : 1	100–105	英文/符号略上浮	tokenizer (THUDM)	旧版含词粒度碎片
MiniCPM / CPM-Bee	SentencePiece BPE	是	1.00–1.05 : 1	100–105	英文段落膨胀	sentencepiece	中文高频覆盖
InternLM	SentencePiece BPE	是	0.99–1.03 : 1	99–103	英文增量	官方 tokenizer	支持代码符号
Phi-3 (多语言版)	tiktoken/BPE 变体	多数字单 token	1.05–1.15 : 1（中文效率略低）	105–115	英文更碎	transformers (phi3)	词表以英文/代码偏重
Code/编程优化模型（如 CodeLlama 在中文）	SentencePiece BPE	中文字经常仍单 token	1.05–1.20 : 1	105–120	中英文符号混排差异大	sentencepiece	词表偏代码符号导致中文相对“贵”

说明：

1. “字:token”写成 ≈1.05:1 表示 1 个中文汉字平均会产生 1.05 个 token（>1 说明有少量字被拆或带上下文合并失衡）。
2. 纯中文说明书/新闻/科普正文中，多数主流中文优化模型接近 1:1。
3. 含数字、半角标点、Emoji、罕见汉字（扩展区）、繁体冷僻字、混入英文变量名或 URL，会提高总体 token/字 比。
4. 估值用于粗算费用：真实计费请实际编码测量。

为什么通常接近 1:1

• 现代多语言 BPE / SentencePiece 会把常见 CJK Unified Ideographs 直接作为独立 token（避免再拆 UTF-8 字节）。
• 中文缺少空格，不能像英文那样以空格分词；逐字保留能兼顾 OOV（未登录词）泛化。
• 高频多字词（如“机器学习”）若未被合并，与 4 个独立 token 成本相同；若被合并（部分词表会做），则字:token 比可下降到 <1。

可能导致 >1 的因素

• 词表缺失（英文侧模型直接迁移到中文）。
• 少量冷僻字落回 “byte fallback” (tiktoken / sentencepiece 的 byte-level 补救)，1 字→2~3 token。
• 混合含全角空格、罕见标点、Emoji（Emoji 常 1–3 token）。

估算公式与实践

场景：给定中文字符数 C，混合英文 token 膨胀系数 k_en (英文平均 1 英文字母 ≈ 0.3–0.5 token, 1 英单词 ≈ 1–2 token)，以及中文比例 p_cn。粗估总 tokens：
T ≈ C * r_cn + W * r_en + E
其中：

• r_cn = 上表对应模型中文字->token 均值（默认 1.0）。
• W = 英文单词数；r_en 常 1.2–1.5（取决于 tokenizer 粒度）。
• E = 额外符号/格式/换行/Emoji token 数。

若只要纯中文快速估算：
T ≈ 字数 (±2~5%)

如何精确测量（推荐做法）

1. 选择对应官方 tokenizer 库：
   • OpenAI/Azure：pip install tiktoken
   • Llama/Mistral/Qwen/InternLM 等：使用 transformers AutoTokenizer.from_pretrained(…)
   • Claude/Gemini：通过其官方 SDK 的 count_tokens / count method（闭源）。
2. 调用 encode 或 encode_plus，得到 token 列表长度。
3. 对代表性语料采样（新闻、技术文、对话、混排），统计平均值与标准差。

示例（以 Qwen 或 Llama3 为例）

伪代码（Python）：
from transformers import AutoTokenizer tok = AutoTokenizer.from_pretrained("Qwen/Qwen2-7B") text = "人工智能正在改变世界。" print(len(tok.encode(text))) # 期望 ≈ len(text_without_punct)

OpenAI：
import tiktoken enc = tiktoken.get_encoding("cl100k_base") text = "人工智能正在改变世界。" print(len(enc.encode(text)))

快速经验记忆

• 纯中文：1 字 ≈ 1 token（默认抓这个）。
• 加入英文技术内容（20% 英文）：整体 token ≈ 中文字数 + 英文单词数 *1.3。
• 有大量代码/URL：再额外加 5–15%。
• 费用预估宁可上浮 5–10% 做预算缓冲。

常见误区

• “1 token = 4 字节” 只是某些英文平均经验，与中文不适用。
• “所有模型都 1 字=2 token” 是旧版 GPT-2 英文词表对中文的误解；现代多语言词表已优化。
• 不能用字节长度 /3 或 /2 去推 token；必须用实际 tokenizer。

建议

• 关键计费或限额控制逻辑中写一个 measure_tokens(text, model) 函数，真实调用。
• 做批量文本处理前先抽样 1% 真实 encode，得到平均与 p95，用来设限。

如果需要：我可以帮你写一个统一测多模型（开源）token 平均值的小脚本，再告诉你如何缓存结果。直接告诉我是否继续。