logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

华为昇腾服务器实战问题记录:模型崩溃

大模型推理稳定性 = 模型参数 + 解码策略 + 输出上限 + 后端实现的组合问题。把max_tokens限住、把 guided decoding 关掉、避免 0 温度触发奇怪分支。

#人工智能#算法#机器学习 +1
华为昇腾服务器实战问题记录:模型崩溃

大模型推理稳定性 = 模型参数 + 解码策略 + 输出上限 + 后端实现的组合问题。把max_tokens限住、把 guided decoding 关掉、避免 0 温度触发奇怪分支。

#人工智能#算法#机器学习 +1
华为昇腾服务器实战问题记录:模型崩溃

大模型推理稳定性 = 模型参数 + 解码策略 + 输出上限 + 后端实现的组合问题。把max_tokens限住、把 guided decoding 关掉、避免 0 温度触发奇怪分支。

#人工智能#算法#机器学习 +1
华为昇腾服务器实战问题记录:模型崩溃

大模型推理稳定性 = 模型参数 + 解码策略 + 输出上限 + 后端实现的组合问题。把max_tokens限住、把 guided decoding 关掉、避免 0 温度触发奇怪分支。

#人工智能#算法#机器学习 +1
实战问题记录:数据库问答实现方法及其难点

目标:将 SQL 结果转化为用户友好的答案。操作调用 LLM,输入:原始问题执行结果(表格数据)相关业务上下文(如“不合格率 = NOK / 总样本”)生成简洁、准确、带单位的自然语言回答可选:附上数据来源(“数据来自 QMS_PRODUCT_INSP 表”)✅ 这就是“最后总结回答的 agent”。即使你暂时不做模板化 SQL,也可以让模型先选口径先让模型只输出结构化选择:metric: “订单

#数据库
到底了