logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

偏置压缩与本地大模型部署:联邦学习与边缘AI实战指南

偏置压缩是一种面向联邦学习通信优化的梯度压缩技术,其核心在于动态建模梯度长期趋势并仅传输偏差信号,显著提升带宽利用率与收敛稳定性;本地大语言模型部署则面临显存墙、推理延迟和灾难性遗忘三大工程瓶颈,需结合权重分片加载、CPU-核显协同推理及知识锚定微调等实践方案。这类技术已从arXiv论文快速演进为工业级落地能力,广泛应用于医疗联邦建模、边缘智能终端与工业视觉质检等场景,标志着机器学习正从云端中心化

PyTorch模型部署前必做一步:model.eval()到底关了什么?Dropout和BN层行为详解

本文深入解析PyTorch中`model.eval()`的关键作用,详细讲解评估模式下Dropout和BN层的行为变化。通过对比训练与评估模式的差异,揭示如何确保模型推理时的稳定性,并提供典型问题排查方案与部署最佳实践,帮助开发者正确应用这一重要机制。

#深度学习
保姆级教程:用Python+OpenCV搞定机械臂手眼标定(附完整代码与避坑指南)

本文详细介绍了使用Python和OpenCV实现机械臂手眼标定的完整流程,从基础原理到代码实现,涵盖数据采集、标定算法、结果验证等关键步骤。通过保姆级教程和避坑指南,帮助开发者快速掌握手眼标定技术,提升工业自动化项目的精度与效率。

AI Agent实时指挥机械臂:视觉引导抓取的动态闭环实践

在智能制造与机器人控制领域,机械臂的自主作业能力正从固定轨迹向动态实时决策演进。视觉引导抓取是让机械臂‘看见并抓住’目标的基础技术,而AI Agent的出现则赋予了系统任务编排与实时应变的‘大脑’。其核心原理在于:视觉感知持续输出带时间戳的目标位姿,Agent根据结构化状态决定下一步动作,控制层在运动过程中支持动态重规划,三层协同形成真正的闭环。这项技术的价值在于显著降低了对固定工位、固定流程的依

#AI Agent
OpenPose人体姿态检测实战:从源码解读到模型部署全流程

人体姿态估计是计算机视觉领域的基础技术之一,广泛应用于动作识别、人机交互与安防监控。其核心在于从图像中定位人体关键点,并重建骨骼结构。OpenPose作为经典算法,通过多分支卷积网络同时预测关键点热图与部分亲和力场(PAF),再经后处理完成多人骨架匹配,解决了重叠场景下的关联难题。理解其数据流、网络结构与后处理逻辑,是二次开发与工程落地的关键。从环境配置、权重加载到推理调优,再到训练自有数据集与轻

Ollama v0.18.2本地大模型部署与优化指南

大语言模型(Large Language Model)作为当前AI领域的重要技术,通过Transformer架构实现自然语言处理。本地化部署可以解决数据隐私和网络延迟问题,Ollama框架通过开源方案降低了技术门槛。在工程实践中,GPU加速和内存优化是关键性能指标,特别是在运行7B/13B参数模型时。本文以v0.18.2版本为例,详细介绍Windows/Linux/Mac三平台的部署流程,包含国内

#Ollama
基于LSTM的中文短文本情感分析实战:从预处理到模型部署

自然语言处理中,情感分析是理解用户评论与舆情监控的核心任务。传统统计方法难以捕捉词汇顺序与转折语义,而LSTM凭借门控机制,能有效建模序列中的长距离依赖,成为文本分类的经典基线。在工程落地时,中文文本需经过分词、停用词过滤、序列填充等预处理步骤,再经Embedding层映射为稠密向量,最后接入LSTM与Softmax完成情感极性判别。这一流程具备清晰的可解释性与可复现性,适用于中小规模评论数据的快

#自然语言处理
YOLO26目标检测项目实战:从数据标注到模型部署全流程指南

目标检测作为计算机视觉的核心任务,在工业质检、智能安防与边缘计算等场景中扮演着关键角色。YOLO系列凭借速度与精度的均衡表现,成为工程落地的首选方案之一。然而,从环境配置、数据标注、模型训练到最终部署,每个环节都隐藏着大量影响最终效果的细节。本文从基础概念出发,梳理目标检测模型的训练原理,重点解析模型轻量化改造的实用路径,涵盖TensorRT与RKNN等主流部署工具链。同时,结合实际项目经验,分享

#目标检测
端侧AI视觉检索实战:用TensorFlow.js把1024维向量检索搬到浏览器

视觉特征提取与相似度检索是图像类应用的核心能力,传统实现依赖云端GPU推理和大规模向量索引,成本与隐私顾虑长期存在。TensorFlow.js借助WebGL/WASM等后端,让基于MobileNet的图像特征提取在浏览器内直接运行,配合Web Worker的后台并行计算,可将1024维特征向量的检索过程完整部署到端侧。图片不出设备,推理、存储、检索均在本地完成,既免去云端算力开销,也规避了数据出域

大模型部署优化实战:量化、剪枝、蒸馏与算子融合全解析

大模型部署中,显存超限、首token延迟高、并发不足是常见痛点。模型优化(Model-Optimizer)正是为解决这些问题而生,其核心原理包括量化、剪枝、蒸馏与算子融合等技术。量化通过低比特近似浮点权重,可有效压缩模型体积、释放显存空间;剪枝删除非关键参数,减少计算冗余;蒸馏让小型模型学习大模型行为;算子融合则从推理引擎层削减内核开销。这些手段在保留精度的前提下,能显著提升在线推理速度与吞吐能力

#剪枝
    共 81 条
  • 1
  • 2
  • 3
  • 9
  • 请选择