随着大型AI模型的不断流行,Token这个词不断被我们提及。 国家数据管理局正式将其命名为“词元”,简单来说就是AI处理信息的“最小单位”。 每次我们与人工智能对话时,每个问题、每个答案都必须被分解成无数的小片段才能理解和生成。 这些小片段就是单词元素。 一个词元素通常对应1到2个汉字。