logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

gradle gradlew 的使用

jcenter() 仓库比 mavenCentral() 仓库快,因此最好将jcenter 放前面,这样下载速度最快。使用本地软件仓库:repositories {flatDir {dirs 'lib'}flatDir {dirs 'lib1', 'lib2'}}本地仓库里的jar包的使用方法:...

#嵌入式#java#开发工具
常用Raspberry Pi周边传感器的使用教程

在Raspberry Pi 的使用和开发过程中,你可能时常需要一些硬件和传感器等来支持你的开发工作,例如,加入一个超声波测距的模块来让你的Raspberry Pi具备测距功能,加入一个测温模块以实现测温功能。今天我们为你准备了10款最常用的传感器与Raspberry Pi 结合使用的例程,你可以在你的开发工作中直接使用这些例程,也可以稍做更改以接入更多的传感器至你的Raspberry P...

#python#操作系统
MoE混合专家架构:大模型高效推理的芯片级调度原理

混合专家(MoE)是一种突破传统稠密模型限制的稀疏化架构,其核心在于通过轻量级路由器动态激活少量专家子网络,实现参数规模与计算效率的解耦。它并非简单堆叠参数,而是依托Top-k路由、负载均衡辅助损失和硬件感知调度,在GPU共享内存带宽等物理约束下,将千亿级模型的实际激活比例压缩至2%左右。该技术显著降低显存占用与推理延迟,支撑高并发、低成本的大模型服务落地,广泛应用于DeepSeek-R1、GPT

机器学习落地五大工程原则:可扩展、可解释、可维护、可监控、可协作

机器学习模型从实验室走向生产环境,核心挑战不在算法精度,而在工程化落地能力。可扩展性保障模型在流量洪峰与数据增长下的稳定吞吐;可解释性让风控、法务、客服等非技术角色理解并信任决策逻辑;可维护性通过数据漂移与概念漂移监控,支撑模型持续进化;可监控性打通数据-模型-业务全链路,实现问题早发现、准归因;可协作性则以标准化契约驱动算法、工程、产品、业务多方对齐目标与约束。这五大原则共同构成AI系统稳健运行

机器学习系统五条生存原则:从谷歌研究到工业落地

机器学习不是静态软件模块,而是一个随时间退化、依赖数据反馈、受人类行为塑造的动态系统。理解其本质物理属性——如特征漂移必然发生、模型输出本质是概率采样、人机责任边界必须可界定——是构建可靠AI服务的前提。这些原理直接决定监控不能只看QPS和延迟,而需覆盖数据分布(KS/PSI)、模型置信度谱、业务归因(DID因果验证);也决定了fallback机制不是兜底开关,而是跨团队SLA驱动的可热切决策链。

轻量级本地大模型平台技术解析与实践指南

轻量级大语言模型(LLM)平台是实现低资源环境高效推理的关键基础设施,其核心在于模型量化、内存映射(mmap)优化与GGUF格式支持等关键技术。通过结合llama.cpp、ONNX Runtime等开源工具链,开发者可在8GB内存设备上完成3B级模型的流式响应部署,显著降低硬件门槛。这类平台不仅支撑WebUI、CLI与API多模态交互,更在边缘计算、隐私敏感场景及离线AI应用中展现独特价值。本文聚

MoE混合专家架构:揭秘大模型2%激活率背后的动态调度原理

混合专家(MoE)是一种突破传统稠密模型瓶颈的稀疏化架构,其核心在于通过Router路由机制实现参数的按需激活,解耦模型容量与计算开销。原理上,它将庞大参数划分为多个独立Expert子网络,由轻量级Router根据输入token语义实时选择Top-k专家协同响应,显著降低单次前向传播的FLOPs与显存占用。技术价值体现在训练效率提升、推理延迟优化及线性扩展能力增强,尤其适用于高吞吐、低延迟场景如实

MuleSoft企业级AI编排:LLM集成的协议治理与韧性设计

AI编排(AI Orchestration)是将大语言模型(LLM)深度融入企业核心业务流程的关键技术范式,其本质在于解决模型调用与现有IT系统之间的协议适配、策略治理与故障韧性三重断层。不同于简单API串联,真正的编排需依托成熟集成平台实现统一连接器管理、细粒度流量管控、多级降级策略及状态感知决策流。MuleSoft凭借200+预建连接器、API全生命周期治理能力与生产级运行时韧性,成为金融、制

Anthropic归零层:让LLM服务层消失的协议级架构

大模型即服务(MaaS)正从‘可配置中间件’走向‘不可见协议层’——这是AI工程演进的必然阶段。当模型能力突破临界点,传统Prompt编排、工具路由、输出解析等服务层抽象便因熵增失控而失效;Anthropic提出的‘归零层’并非新API,而是将Schema契约、原子化工具调用与前置错误熔断内嵌至HTTP协议底层,实现92%以上胶水代码归零。其技术价值在于将LLM集成从‘状态机编程’降维为‘契约声明

生成式AI技术债:七类隐形债务与治理框架

生成式AI技术债不是传统代码缺陷,而是数据漂移、Prompt失控、评估失准等动态因素导致的系统性认知脱钩。其本质是模型行为与业务目标间的渐进式偏移,表现为人工干预率上升、用户放弃率攀升等可量化衰减信号。区别于静态软件工程,它依赖embedding语义对齐、LLM-as-a-Judge评估、实时反馈闭环等新型治理手段,在RAG、微调、Prompt工程等典型场景中尤为突出。本文聚焦可落地的诊断指标(如

    共 97 条
  • 1
  • 2
  • 3
  • 10
  • 请选择