#
分词器 (Tokenizer)
可视化Token计数和分布。
#
🔢 功能介绍
分词器功能帮助你：
- 精确计算Token数量
- 可视化Token分割
- 理解模型如何处理文本
- 优化提示词长度
#
📊 Token可视化
输入文本后可以看到：
- 每个Token用不同颜色标记
- Token边界清晰可见
- Token ID显示
#
示例
输入: Hello, how are you?
Token: [Hello] [,] [ how] [ are] [ you] [?]
数量: 6 tokens
#
📈 统计信息
#
🤖 支持的分词器
#
⚙️ 使用方法
#
方法1：独立工具
- 打开 设置 → 工具 → 分词器
- 输入文本
- 选择分词器
- 查看结果
#
方法2：实时显示
在聊天界面开启Token计数，实时显示输入的Token数。
#
💡 实用场景
了解提示词占用多少Token，优化以节省空间。
根据模型的上下文限制，合理分配输入和输出空间。
Token数量直接影响API费用。
#
📖 Token常识
- 1个英文单词 ≈ 1-2 tokens
- 1个中文字 ≈ 1-2 tokens
- 标点符号通常是独立token
- 空格可能被合并到词中