写文章
- @Baichuan_AI
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
深度学习大模型推理性能优化策略
1. 量化；2. 投机采样；3. TTFT 与 TPOT 的优化；4. 通信优化。
深度学习大模型推理性能优化策略
1. 量化；2. 投机采样；3. TTFT 与 TPOT 的优化；4. 通信优化。
MuseD——提升大模型多步演绎推理能力
今年9月，OpenAI 在“o1”的技术报告中提出了train-time compute和test-time compute，。复杂的多步推理任务是大语言模型应用的一个重要挑战。多步推理即从初始条件出发，通过多步逻辑推导逐步得出结论的过程，对于解决现实中复杂的任务至关重要，数学题解、法律推理、科学论证等应用场景都需要模型具备这一能力。，医疗、法律等领域的专家期望 AI 系统能完成从信息提取到推理分
到底了