logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

vLLM + PyTorch:在K8s集群中实现LLM推理服务的高效弹性扩缩容

摘要:大语言模型(LLM)推理服务面临流量波动与成本控制的平衡难题。本文提出结合vLLM推理引擎与Kubernetes HPA的弹性方案,通过PagedAttention和Continuous Batching提升单实例性能(显存利用率达90%+),解决传统静态批处理的资源浪费问题。关键点包括: 精准指标:采用vLLM暴露的队列等待数、KV Cache利用率等业务指标,替代不可靠的CPU/内存指标

#pytorch#kubernetes
从数据到交互,只差一个Streamlit的距离

摘要: Streamlit是一个开源的Python库,能快速将Python脚本转化为交互式Web应用,无需前端技术。它特别适合数据科学家和开发者,支持通过纯Python代码构建功能完整的应用,包括AI聊天界面。 核心优势: 纯Python开发:无需HTML/JavaScript知识。 高效开发:几行代码即可创建应用,支持热重载。 AI集成:原生支持聊天组件(如st.chat_message),可轻

#交互#python
ECharts 5.4鸿蒙适配:HarmonyOS 5原子化服务中的轻量级图表渲染方案

摘要:本文详细介绍了HarmonyOS应用开发全流程,包含环境配置、工程创建、页面开发及调试运行等关键步骤。重点说明:1)使用DevEcoStudio 5.0.1+版本;2)创建工程时需选择Phone设备与ArkTS语言;3)编写包含导航功能的首页Index.ets;4)通过DeviceManager启动模拟器或真机调试。同时提供模块化开发建议及常见问题解决方案,如模拟器黑屏处理、签名配置等。完成

#harmonyos#华为
从 Prompt 到生产:构建生成式 AI 全栈应用的一线实践

本文分享了从Prompt设计到生成式AI生产落地的完整技术路径。作者基于三个实际产品的开发经验,指出Prompt工程只能决定模型输出的上限,真正的生产落地取决于系统工程化程度。文章提出结构化Prompt模板方案,将指令、上下文、约束等元素分离管理,并实现滑动窗口机制处理上下文爆满问题。后端架构方面,采用异步任务队列处理耗时生成请求,通过Redis存储任务状态,支持轮询获取结果。全文包含可运行的代码

#人工智能#python
HarmonyOS APP AI赋能:在“美寇商城”中集成DeepSeek实现智能导购

美寇商城基于HarmonyOS NEXT 5.0构建智能导购系统,集成DeepSeek大模型实现对话式购物体验。系统采用"前端交互-中台调度-后端融合"架构,通过AI中台服务层处理用户查询,结合商品数据提供个性化推荐。核心流程包括:用户输入→上下文管理→Prompt组装→AI调用→结果解析→回复呈现,形成智能交互闭环。该系统可提升用户体验、缩短决策路径、实现7x24小时专业导购

文章图片
#harmonyos#人工智能#华为 +3
解码大语言模型:从Transformer心脏到实战应用的全景指南

AI大模型技术革命正带来前所未有的全民机遇。本文系统梳理了从技术原理到实践应用的完整路径:1)解析Transformer核心机制与民主化进程;2)绘制8大低门槛AI机会方向及收益矩阵;3)提供30天零基础学习计划与职业转型指南;4)分析6个AI微创业黄金赛道。数据显示,AI岗位薪资溢价达30-50%,企业采用率两年增长45%,全球个人用户超3亿。不同于以往技术浪潮,当前AI应用门槛大幅降低,普通人

文章图片
#语言模型#transformer#人工智能
大模型时代下的Agent工程架构设计与实践

本文探讨了从大语言模型能力到Agent系统能力的转变,分析了当前Agent工程架构的核心设计原则和主流框架选型。文章指出,随着模型能力的同质化,企业应用的差异化将更多依赖于系统级的Agent工程架构,而非单纯的模型性能。 文章首先介绍了Agent架构的四个核心层次(模型层、编排层、数据层和治理层)及其关键技术,强调了分层设计的重要性。随后对比了主流Agent编排框架LangChain和AutoGe

#python#算法
HarmonyOS 5 直播课堂应用:超低延迟课堂-端侧AI编码+分布式网络优化(<200ms)

最小化分发策略通过元服务+HSP动态加载入口轻量化:碰一碰/扫码直达服务,消除安装步骤;资源按需化:核心功能预加载,非核心模块动态分发;体验无缝化:蓝牙连接、数据读写等关键路径毫秒级响应。该策略已成功应用于运动健康、便捷生活等场景,帮助IoT设备开发者降低30%+分发成本,提升用户转化率。

#harmonyos#物联网#华为
React Native 应用接入 HarmonyOS5 AI 能力(HiAI Kit)实战指南

通过 React Native 与 HiAI Kit 的深度集成,开发者可快速为跨平台应用注入以下能力:✅本地化 AI 计算- 利用设备 NPU 实现毫秒级响应✅场景化视觉服务- OCR/主体分割/以图搜物等丰富功能✅自然语言处理- 智能表单填充、语义理解等创新体验✅无缝跨平台体验- 保持 React Native 开发效率的同时获得原生性能这种融合方案大幅降低了 AI 能力的接入门槛,为电商、社

#react native#人工智能#react.js
基于 React Native for HarmonyOS5 的跨平台组件库开发指南

启动时间 ≤800ms / FPS ≥55。主线程与 RN 渲染线程优先级绑定。:折叠屏/平板多形态适配。状态管理避免深拷贝:使用。避免深层嵌套布局,采用。CPU 密集型任务使用。注解实现线程安全通信。

#react native#react.js#javascript
    共 203 条
  • 1
  • 2
  • 3
  • 21
  • 请选择