“词元化（Tokenization）”的版本历史

2026年3月25日 (星期三)

• 当前之前 10:142026年3月25日 (三) 10:14 Admin 留言 贡献 2,820字节 +2,820 创建页面，内容为“{{分类:人工智能术语}}​ {{分类:自然语言处理术语}}​ {{信息框|标题=词元化（Tokenization）|内容=​ * 英文对应：Tokenization​ * 核心定义：将文本拆分为词元的预处理过程​ * 核心关联：词元是词元化的产物，是大语言模型的前置步骤​ * 应用场景：所有自然语言处理、大语言模型交互的前置处理​ }}​ 一、定义​ '''词元化（Tokenization）'''是自…”