词例化程序
的有关信息介绍如下：
词例化程序（tokenizer）是计算机科学技术领域术语，指将自然语言文本或句子划分为词、标点等基本组成单位的过程。
该程序根据语言特征采用差异化处理：针对汉语主要实现分词功能，而在英语等已有空格标记的语言中，主要负责标点与词的分离等操作。
该术语于2018年经全国科学技术名词审定委员会审核后被正式收录为标准学科术语
想要了解更多“词例化程序”的信息，请点击：词例化程序百科
词例化程序
Simone
发布于 2026-10-13 05:06:20
928 阅读
