看了Kimi的广告，我发现它主打的就是“长”，不管是输入文件还是什么都能给你支持。直到今天，kimi能够支持200万token的输入，并且支持处理500个文件。我只能说200万汉字大概有6000k的tokens，如果模型处理文本真的能有这么大，那当之无愧的国产最强大模型。但是 Kimi家的模型底层用的还是moonshot大模型，它所开放的接口也就128k。截止目前数据模型可处理Tokens推出时间

当输入中包含自定义的标记符或者自定义的token时，tokenizer可能不会识别出，因此需要使用新token来加入到模型词表中。参数是新 token 列表，如果 token 不在词表中，就会被添加到词表的最后。参数是包含特殊 token 的字典，键值只能从bos_tokeneos_tokenunk_tokensep_tokenpad_tokencls_tokenmask_token中选择。同样地

矩阵乘法在深度学习中应用十分广泛，记录一下常见的矩阵乘法。

看了Kimi的广告，我发现它主打的就是“长”，不管是输入文件还是什么都能给你支持。直到今天，kimi能够支持200万token的输入，并且支持处理500个文件。我只能说200万汉字大概有6000k的tokens，如果模型处理文本真的能有这么大，那当之无愧的国产最强大模型。但是 Kimi家的模型底层用的还是moonshot大模型，它所开放的接口也就128k。截止目前数据模型可处理Tokens推出时间

强化微调是通过高质量任务数据和参考答案优化大语言模型的推理能力的方法。•核心区别：与传统的监督微调（SFT）不同，RFT 并非简单地“教模型记住答案”，而是引导模型在复杂问题中学会推理，从而更准确地解决任务。•技术构成：RFT 融合了 SFT 的监督学习基础和强化学习（RL）的奖励机制，通过多轮自我优化训练，使模型能生成更高质量的答案。例如，在医疗领域，RFT 可通过患者症状推断潜在的遗传基因，而