Token
Token
模型处理文本时使用的离散单元,可能是词、子词、字符或字节片段。
在知识地图中查看概念简介
模型处理文本时使用的离散单元,可能是词、子词、字符或字节片段。
Token 数与字符数不是固定比例,取决于具体分词器及语言。上下文窗口、输入输出费用和响应延迟通常与 Token 数相关。
提示 基础介绍:本条目已提供概念与边界说明,完整案例和实践步骤仍待补充。
阅读建议
先确认这项知识回答什么问题,再结合下方关联知识比较其适用情境。当前条目不替代完整的实践指南。
内容状态
本文为 V0.1 基础介绍,由知序内容维护者整理。后续需补充独立案例、反例与参考来源。