知序/知识文档
知识文档

Token

Token

模型处理文本时使用的离散单元,可能是词、子词、字符或字节片段。

基础介绍入门更新于 2026-11-22V0.1
在知识地图中查看

概念简介

模型处理文本时使用的离散单元,可能是词、子词、字符或字节片段。

Token 数与字符数不是固定比例,取决于具体分词器及语言。上下文窗口、输入输出费用和响应延迟通常与 Token 数相关。

提示 基础介绍:本条目已提供概念与边界说明,完整案例和实践步骤仍待补充。

阅读建议

先确认这项知识回答什么问题,再结合下方关联知识比较其适用情境。当前条目不替代完整的实践指南。

内容状态

本文为 V0.1 基础介绍,由知序内容维护者整理。后续需补充独立案例、反例与参考来源。

回到知识地图