分词（Tokenizer）

本篇你将学到

• 为什么要分词
• 字符、词、子词
• BPE 原理
• 训练自己的分词器

待撰写：本篇正文正在编写中，以上为内容提纲。