本文记录了在昇腾910B2C + CANN 8.5.1环境下，将ONNX格式的ResNet-50模型成功转换为OM格式并推理的完整流程。重点解决了ATC转换中因opset过低（7）导致算子不支持、Python依赖缺失等问题，通过清洗模型输入、提升opset至11并安装ATC所需依赖，最终实现成功转换。通过与ONNX Runtime结果对比，精度差异极小（cosine相似度0.999998，top5

本文记录了在昇腾910B2C + CANN 8.5.1环境下，将ONNX格式的ResNet-50模型成功转换为OM格式并推理的完整流程。重点解决了ATC转换中因opset过低（7）导致算子不支持、Python依赖缺失等问题，通过清洗模型输入、提升opset至11并安装ATC所需依赖，最终实现成功转换。通过与ONNX Runtime结果对比，精度差异极小（cosine相似度0.999998，top5

MoE（混合专家）技术通过条件计算实现大模型高效训练：仅激活相关专家层（如Top-2），其余保持休眠。核心部件包括专家网络（替代FFN层）和路由门控（含负载均衡损失）。相比稠密模型，MoE参数扩大4倍时训练提速2.5倍，但需更多显存。工程实现依赖专家并行、GroupGEMM和CUDA融合，典型应用如Mixtral 8×7B。适用场景需权衡——多卡集群性价比高，单卡部署建议稠密模型+LoRA。关键优

近年来，研究者提出了多种混合推理方法，在思考(CoT)和非思考模式间实现智能切换。

本文提出了一种新型强化学习算法AEPO（Agentic Entropy-Balanced Policy Optimization），旨在解决大模型在多轮工具调用任务中因过度依赖熵信号导致的两个关键问题：高熵轨迹崩溃和梯度裁剪失效。AEPO通过动态熵平衡机制（包括熵预监控和分支惩罚）和熵感知策略优化（停止梯度裁剪和优势估计），在14个推理任务上实现了SOTA性能，仅需1K训练样本就超越GPT-4o等

本文梳理了两种高效的块级投机解码（speculative decoding）方法：DFlash 和 DSpark，并分析了它们在SGLang中的实现方式。DFlash通过将目标模型的隐状态注入草稿模型的KV缓存，实现并行块级猜测，再通过目标模型验证。DSpark在DFlash基础上增加了半自回归精炼和基于置信度的动态验证长度调度，进一步优化解码效率。两种方法都显著提升了GPU利用率，相比传统自回归

RLVR（可验证奖励的强化学习）是当前主流的大模型训练方法，通过预定义规则（如数学答案匹配、代码测试）提供二元奖励信号，替代传统RLHF的主观评估。其核心优势在于客观性、易设计性和防作弊能力，广泛应用于数学推理、代码生成等确定性任务。构建RLVR需关注数据准备、奖励函数设计和验证体系，但存在领域依赖性强和可能窄化模型能力的局限。未来将聚焦垂直领域优化和工业级实施方案，推动技术实际落地。

【代码】dflash简易实现。

Hive新增列查询为NULL问题解析 原因： 插入数据时未显式给新列赋值，默认填充NULL 动态分区或列顺序错位导致数据映射错误 Parquet/Avro等文件格式的旧数据未更新schema 解决方案： 显式指定新列值（INSERT...SELECT col1, col2, 'default'） 严格匹配SELECT与表结构的列顺序 对旧数据执行INSERT OVERWRITE重建文件 分区表需单

本文介绍了 Rust 实现的高性能模型服务网关(SMG)的核心架构与关键技术。系统采用分层设计，包括负载均衡策略（7种算法）、gRPC路由管道化处理、4层可靠性机制（断路器/令牌桶/重试/健康检查）、PD分离路由、多模型网关等模块。特别优化了令牌桶的无锁实现、字符串Interning指标存储、全Rust Tokenizer等关键路径，支持Prometheus监控和OpenTelemetry链路追踪