logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

解密AI语言模型:从“文字乐高“到智能对话

​Token = 文字积木块​(可以是完整的词、字,甚至是半个字)​中文例子:“机器学习” → 可能拆成 [“机器”, “学习”] 或 [“机”, “器”, “学”, “习”]​英文例子:“unbelievable” → 拆成 [“un”, “believ”, “able”]Token是AI理解文字的基本单元词表就像模型的"文字字典"预测机制从查表升级到数学计算中文处理比英文更复杂💡 小测试:试

文章图片
到底了