logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

《AI Agent 命令行工具 线上高并发排障实战》

在治理AI 驱动的命令行工具开发与智能 Agent 构建时,切忌过度信任上游默认超时。建议在生产落地时务必补充完善的全链路 Trace 追踪与弹性防线,保障核心服务平稳运行。

#rust#github#python
WASM 边缘推理:Rust + ONNX Runtime 的浏览器端模型部署实践

WASM 边缘推理的核心价值是"零延迟 + 隐私保护 + 离线可用"。技术路线是 PyTorch → ONNX 转换 → 量化压缩 → Rust/wasm-bindgen 封装 → 浏览器加载推理。落地时三个关键决策:模型选择 MobileNet/EfficientNet 等轻量架构(<10MB)、量化使用 INT8(体积减 75%、精度损失 <1%)、推理放在 WebWorker 中(不阻塞 U

文章图片
#rust#github#python
AI 模型编译优化:从 PyTorch 到 ONNX 到 TensorRT 的推理加速全链路

AI 模型编译优化的核心链路是 PyTorch → ONNX → TensorRT/ONNX Runtime,关键优化技术包括算子融合、量化、常量折叠和内存规划。ONNX 作为中间表示实现了框架解耦,TensorRT 提供 NVIDIA GPU 上的极致性能,ONNX Runtime 覆盖通用 CPU 场景。编译优化的代价是编译耗时、硬件绑定和调试困难,适用于模型固定、高吞吐低延迟的生产部署场景,

文章图片
#rust#github#python
用 Rust 构建 AI 命令行工具:从 ONNX Runtime 到智能 Agent 的实战路径

Rust 构建 AI 命令行工具的核心路径是:通过 ONNX Runtime 的ortcrate 加载模型进行推理,结合 trait-based 的工具抽象实现 Agent 调度。Rust 在部署体积、启动速度和内存控制方面相比 Python 有显著优势,但模型生态和开发效率是主要短板。适用场景集中在推理端部署和资源受限环境,不适合模型训练和快速实验阶段。项目初期需要验证 ONNX 模型转换的可行

文章图片
#rust#github#python
用 Rust 跑推理:从 ONNX Runtime 到 Candle 的框架选型与实战

Rust AI 推理框架的选型没有银弹。如果已有 ONNX 模型且追求稳定性,ONNX Runtime 是最稳妥的选择;如果需要纯 Rust、小体积部署,Candle 是当前最活跃的项目;如果要跑本地 LLM,GGUF 格式配合 candle-gguf 或 llama-cpp-rs 是最成熟的路径。落地路线建议:先用 Python 验证模型和推理流程,确认模型格式和输入输出规范后,再迁移到 Rus

文章图片
#rust#github#python
浏览器端 AI 推理方案对比:ONNX Runtime Web、Transformers.js 和 MediaPipe

去年我做了一个的工具,最初用 Python 后端跑模型,用户上传图片后等 10 秒才能看到结果。转化率不到 5%。后来我把模型搬到了浏览器端,用户,转化率直接飙升到 35%。那一刻我意识到:浏览器端 AI 不是"炫技",而是。但这条路并不好走。浏览器端的算力、内存、兼容性都是坑。和。

#rust#github#python
Python与边缘计算:非科班转码者的指南

Python在边缘计算领域有着广泛的应用,它的简洁语法和丰富生态使其成为边缘计算的理想选择。作为一个非科班转码者,我认为学习Python与边缘计算的结合不仅可以提高边缘设备的智能化水平,还可以打开更多的职业机会。在学习Python的过程中,我深刻体会到边缘计算的重要性。边缘计算不仅可以减少延迟、节省带宽,还可以提高数据的安全性和系统的可靠性。同时,学习Rust也可以帮助我们从不同的角度理解边缘计算

#github#python
Python物联网开发:非科班转码者的入门指南

Python在物联网开发中是一种非常实用的语言,它的简洁语法和丰富生态使得物联网开发变得更加容易。作为一个非科班转码者,我认为Python是进入物联网领域的绝佳选择。当然,Rust在物联网开发中也有其独特的优势,特别是在性能和安全性方面。对于复杂的物联网项目,我们可以考虑使用Python和Rust的混合方案,充分发挥两者的优势。物联网是一个充满机遇的领域,随着5G和边缘计算的发展,物联网的应用将会

#github#python
AI Agent 记忆系统设计:从短期上下文到长期知识库的架构演进

// 会话记忆管理器:滑动窗口 + 摘要压缩/// 最近的完整消息(滑动窗口保留最近 N 条)/// 压缩后的会话摘要/// 待办事项与关键事实Self {/// 接收短期记忆的溢出条目// 高重要性条目直接进入 key_factscontinue;// 滑动窗口溢出时触发摘要压缩/// 将最旧的一批消息压缩为摘要/// 实际生产中此处调用 LLM 生成摘要,此处用简化逻辑示意return;.co

文章图片
#rust#github#python
Python 数据科学高级应用指南

Python 是数据科学领域的强大工具,它提供了丰富的库和工具,从数据处理到机器学习和深度学习。通过掌握这些工具的高级应用,我们可以从数据中提取有价值的信息,解决复杂的问题。在实际应用中,我们可以使用 Python 进行预测分析、自然语言处理、图像处理等多种任务,为业务决策提供支持。希望本文对你理解和应用 Python 数据科学有所帮助!

#rust#github#python
    共 406 条
  • 1
  • 2
  • 3
  • 41
  • 请选择