87 lines
7.0 KiB
Markdown
87 lines
7.0 KiB
Markdown
## 概览
|
||
不同大模型的“1 个中文字符 ≈ 几个 token”并非固定常数，但主流中：绝大多数采用基于 Unicode 字符的（SentencePiece/BPE）分词，常见纯中文正文里“1 字 ≈ 1 token”，混排（数字/英文/空格/标点）会拉低或升高平均值。下面给出主流闭源 / 开源模型的 tokenizer 类型、特点与中文平均映射粗略经验值（工程估算用），以及如何精确计算。
|
||
|
||
## 主流模型 Token 计量速查表（经验均值，纯中文语料下）
|
||
|
||
| 模型/系列 | Tokenizer/算法 | 中文单字是否多为单独 token | 纯中文平均：字:token | 100 字约占 tokens | 混合中英场景变化 | 主要实现/库 | 备注 |
|
||
|-----------|----------------|----------------------------|----------------------|------------------|------------------|------------|------|
|
||
| OpenAI GPT-4 / 4o / 3.5 (cl100k_base系) | tiktoken（改进 BPE） | 是 | ≈ 1.00 : 1 | ≈ 100 | 英文单词被拆成多 token，导致“每个中文字成本”相对稳定 | tiktoken | 部分常见词组（如“人工智能”）仍分成 4 token |
|
||
| Anthropic Claude (2/3/Opus/Sonnet) | SentencePiece Unigram 变体 | 是 | ≈ 1.00 : 1 | ≈ 100 | 中英混合时英文段膨胀 | 官方 SDK 内置 | 少数高频短语合并略降 |
|
||
| Google Gemini | SentencePiece (Unigram + 定制) | 是 | 0.95–1.02 : 1 | 95–102 | 英文/符号增大差异 | PaLM/Gemini SDK | 具体权重未公开 |
|
||
| Microsoft Azure OpenAI（同 OpenAI） | 同 tiktoken | 是 | ≈ 1.00 : 1 | ≈ 100 | 同 OpenAI | tiktoken | 计费按模型 |
|
||
| 百度 文心 (ERNIE) | 基于 WordPiece/BPE 混合 | 高频字单 token | 1.00–1.05 : 1 | 100–105 | 新词可能被拆多 token | 平台 API | 词表偏向中文高频词 |
|
||
| 阿里 Qwen (通义千问) | SentencePiece BPE | 是 | ≈ 1.00 : 1 | ≈ 100 | 英文长词被拆 | tokenizer 模块 (qwen-tokenizer) | 保留常见中文字单元 |
|
||
| DeepSeek 系列 | BPE（近似 tiktoken） | 是 | 0.98–1.02 : 1 | 98–102 | 英文段落增量 | 官方 tokenizer | 词表对编程符号友好 |
|
||
| Meta Llama 2/3 中文适配 | SentencePiece BPE | 是 | 1.00–1.10 : 1（取决于是否中文增强词表） | 100–110 | 若原生英文词表，中文稀有字会拆 bytes→增加 | sentencepiece | 未做中文特别优化版本略高 |
|
||
| Mistral / Mixtral 中文增强版 | SentencePiece BPE | 多数字单 token | 1.00–1.08 : 1 | 100–108 | 未收录字 → 多 token | sentencepiece | 视发行版词表 |
|
||
| Yi (零一万物) | SentencePiece BPE | 是 | 0.98–1.03 : 1 | 98–103 | 英文增加 | 官方 yi-tokenizer | 中文覆盖较全 |
|
||
| GLM (ChatGLM 系列) | SentencePiece + 字节回退 | 是 | 1.00–1.05 : 1 | 100–105 | 英文/符号略上浮 | tokenizer (THUDM) | 旧版含词粒度碎片 |
|
||
| MiniCPM / CPM-Bee | SentencePiece BPE | 是 | 1.00–1.05 : 1 | 100–105 | 英文段落膨胀 | sentencepiece | 中文高频覆盖 |
|
||
| InternLM | SentencePiece BPE | 是 | 0.99–1.03 : 1 | 99–103 | 英文增量 | 官方 tokenizer | 支持代码符号 |
|
||
| Phi-3 (多语言版) | tiktoken/BPE 变体 | 多数字单 token | 1.05–1.15 : 1（中文效率略低） | 105–115 | 英文更碎 | transformers (phi3) | 词表以英文/代码偏重 |
|
||
| Code/编程优化模型（如 CodeLlama 在中文） | SentencePiece BPE | 中文字经常仍单 token | 1.05–1.20 : 1 | 105–120 | 中英文符号混排差异大 | sentencepiece | 词表偏代码符号导致中文相对“贵” |
|
||
|
||
说明：
|
||
1) “字:token”写成 ≈1.05:1 表示 1 个中文汉字平均会产生 1.05 个 token（>1 说明有少量字被拆或带上下文合并失衡）。
|
||
2) 纯中文说明书/新闻/科普正文中，多数主流中文优化模型接近 1:1。
|
||
3) 含数字、半角标点、Emoji、罕见汉字（扩展区）、繁体冷僻字、混入英文变量名或 URL，会提高总体 token/字 比。
|
||
4) 估值用于粗算费用：真实计费请实际编码测量。
|
||
|
||
## 为什么通常接近 1:1
|
||
- 现代多语言 BPE / SentencePiece 会把常见 CJK Unified Ideographs 直接作为独立 token（避免再拆 UTF-8 字节）。
|
||
- 中文缺少空格，不能像英文那样以空格分词；逐字保留能兼顾 OOV（未登录词）泛化。
|
||
- 高频多字词（如“机器学习”）若未被合并，与 4 个独立 token 成本相同；若被合并（部分词表会做），则字:token 比可下降到 <1。
|
||
|
||
## 可能导致 >1 的因素
|
||
- 词表缺失（英文侧模型直接迁移到中文）。
|
||
- 少量冷僻字落回 “byte fallback” (tiktoken / sentencepiece 的 byte-level 补救)，1 字→2~3 token。
|
||
- 混合含全角空格、罕见标点、Emoji（Emoji 常 1–3 token）。
|
||
|
||
## 估算公式与实践
|
||
场景：给定中文字符数 C，混合英文 token 膨胀系数 k_en (英文平均 1 英文字母 ≈ 0.3–0.5 token, 1 英单词 ≈ 1–2 token)，以及中文比例 p_cn。粗估总 tokens：
|
||
T ≈ C * r_cn + W * r_en + E
|
||
其中：
|
||
- r_cn = 上表对应模型中文字->token 均值（默认 1.0）。
|
||
- W = 英文单词数；r_en 常 1.2–1.5（取决于 tokenizer 粒度）。
|
||
- E = 额外符号/格式/换行/Emoji token 数。
|
||
|
||
若只要纯中文快速估算：
|
||
T ≈ 字数 (±2~5%)
|
||
|
||
## 如何精确测量（推荐做法）
|
||
1. 选择对应官方 tokenizer 库：
|
||
- OpenAI/Azure：pip install tiktoken
|
||
- Llama/Mistral/Qwen/InternLM 等：使用 transformers AutoTokenizer.from_pretrained(…)
|
||
- Claude/Gemini：通过其官方 SDK 的 count_tokens / count method（闭源）。
|
||
2. 调用 encode 或 encode_plus，得到 token 列表长度。
|
||
3. 对代表性语料采样（新闻、技术文、对话、混排），统计平均值与标准差。
|
||
|
||
## 示例（以 Qwen 或 Llama3 为例）
|
||
伪代码（Python）：
|
||
from transformers import AutoTokenizer
|
||
tok = AutoTokenizer.from_pretrained("Qwen/Qwen2-7B")
|
||
text = "人工智能正在改变世界。"
|
||
print(len(tok.encode(text))) # 期望 ≈ len(text_without_punct)
|
||
|
||
OpenAI：
|
||
import tiktoken
|
||
enc = tiktoken.get_encoding("cl100k_base")
|
||
text = "人工智能正在改变世界。"
|
||
print(len(enc.encode(text)))
|
||
|
||
## 快速经验记忆
|
||
- 纯中文：1 字 ≈ 1 token（默认抓这个）。
|
||
- 加入英文技术内容（20% 英文）：整体 token ≈ 中文字数 + 英文单词数 *1.3。
|
||
- 有大量代码/URL：再额外加 5–15%。
|
||
- 费用预估宁可上浮 5–10% 做预算缓冲。
|
||
|
||
## 常见误区
|
||
- “1 token = 4 字节” 只是某些英文平均经验，与中文不适用。
|
||
- “所有模型都 1 字=2 token” 是旧版 GPT-2 英文词表对中文的误解；现代多语言词表已优化。
|
||
- 不能用字节长度 /3 或 /2 去推 token；必须用实际 tokenizer。
|
||
|
||
## 建议
|
||
- 关键计费或限额控制逻辑中写一个 measure_tokens(text, model) 函数，真实调用。
|
||
- 做批量文本处理前先抽样 1% 真实 encode，得到平均与 p95，用来设限。
|
||
|
||
如果需要：我可以帮你写一个统一测多模型（开源）token 平均值的小脚本，再告诉你如何缓存结果。直接告诉我是否继续。 |