logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Ollama是什么?能跑多大模型?一文搞懂本地大模型部署

本地部署大模型正成为开发者和技术爱好者的热门实践,而Ollama作为一款轻量级运行工具包,将复杂的模型加载、量化与API服务化流程简化为几条命令。其底层基于llama.cpp和GGUF格式,通过模型量化技术,让7B、8B乃至更大参数的模型也能在消费级硬件上运行。理解参数量、量化精度与可用内存之间的关系,是评估“能跑多大模型”的关键。从普通笔记本到专用工作站,不同硬件配置对应不同的模型规模和推理速度

#Ollama
斑点检测与条码识别:构建OpenCV机器视觉质检闭环

机器视觉常把图像分割与目标识别作为基础任务,其中连通区域分析与条码解码是两种典型技术。斑点检测通过多阈值扫描和连通域稳定性筛选,找出图像中与周围灰度差异明显的块状区域,适用于脏点、划痕、气泡等表面缺陷定位;条码识别则负责解析Code128、QR等码制,绑定产品型号与批次信息。两者结合可构成“先验身份、再验质量”的质检闭环:先解码条码建立数据关联,再用斑点检测输出缺陷位置和面积。该方案基于OpenC

PyTorch转ONNX再到MNN:端侧图像模型部署全流程与踩坑实录

在人工智能工程化落地中,模型部署是连接训练与业务场景的关键一环。深度学习模型训练阶段常用的PyTorch框架以动态图机制见长,但在移动端或嵌入式设备上直接运行却面临依赖臃肿、调度效率低等问题。为提升推理性能,业界普遍采用静态图优化与算子加速,通过格式转换将模型迁移至专用推理引擎。ONNX作为开放神经网络交换格式,提供了一套标准化计算图描述,能够充当训练框架与推理框架之间的通用桥梁。MNN作为面向移

HarmonyOS PC端离线翻译工具开发实践:端侧AI模型集成与格式还原

端侧AI推理正成为保护数据隐私和提升响应速度的关键技术路径。与传统在线翻译依赖云端接口不同,端侧推理将模型部署在本地设备,通过模型量化、神经网络运行时调度等手段,在普通PC上即可获得可用级别的翻译质量。这种方案不仅避免敏感数据外泄,还能在网络不稳定场景下保持服务可用。在办公与内容处理场景中,离线翻译可覆盖纯文本、Word、PDF、HTML等多种格式,结合剪贴板监听与全局热键,实现“复制即译”的流畅

AI技能清单深度拆解:从工程能力到模型部署的三层进阶指南

在机器学习和深度学习的学习路径中,很多人常陷入“听过概念但写不出代码”的困境——技能清单列满工具与算法,却难以判断自己究竟掌握到哪一层。拆解一份主流 AI 技能清单,会发现能力成长其实遵循工程底子、模型研发、系统设计三层递进结构:底层决定能否把想法落地为可靠脚本,中层解决模型在真实数据上的效果与诊断,顶层则关乎算力规划、推理优化和分布式部署。对学习者而言,与其追逐热点框架,不如用三个自测项目(从零

#机器学习#深度学习
突破语言瓶颈:Point-VLA用视觉锚点提升机械臂操作精度

视觉-语言-动作(VLA)模型是机器人操作领域的热门方向,但实践中的语言指令常因空间歧义导致机械臂动作偏差。传统方案依赖堆数据或更细粒度描述,却始终未能解决语言语义与空间位置之间的对齐难题。Point-VLA提出以视觉锚点为核心的空间约束机制,将动作生成条件从模糊的语义空间切换至精确的几何空间,通过锚点预测分支与动作解码器的联合优化,让机械臂在抓取、放置等任务中直接参考关键点坐标执行操作。这一设计

符号接地:破解机器人“嘴上认识,手里不懂”的具身智能难题

在机器人操控和多模态模型研究中,符号接地(Symbol Grounding)是连接抽象概念与物理世界的关键环节。它探讨一个符号如何通过感知传感器、行动反馈和被验证的因果链获得真实意义,而非仅仅在程序里指向某个ID或坐标。许多具身智能系统常出现“识别准确却抓取失败”或“换盏灯就崩溃”的问题,根源正是符号与世界之间缺乏可靠的绑定。从指示范式到多模态统计关联,再到行动锚定的感知-行动闭环,主流方案都在为

PaddleOCR摄像头实时OCR工程实践:从模型部署到稳定运行

OCR(光学字符识别)是计算机视觉中将图像文字转化为可编辑文本的基础技术,其核心原理依赖于文字检测与序列识别的协同建模。随着边缘计算普及,实时OCR不再局限于离线批处理,而是要求在普通CPU/GPU硬件上实现低延迟、高鲁棒、可长期运行的端侧推理能力。技术价值体现在毫秒级响应、资源自适应调度与场景化预处理三方面,广泛应用于工业质检、身份核验、仓储分拣等需要‘边看边读’的智能终端场景。本文聚焦Padd

零基础入门ModelArts:从OBS到模型部署的实操指南

在云端完成AI模型从训练到部署的完整闭环,核心是理解数据存储、训练调度与服务发布三个环节。华为云ModelArts以OBS作为数据底座,训练数据与模型产物均以对象存储形式管理;训练作业则负责调度算力,运行预置算法或自定义脚本;模型训练完成后,还需通过模型管理注册,再部署为在线服务或批量推理。对于零基础开发者,掌握OBS路径与环境变量的使用规则,理清数据集、Notebook、训练作业的分工,是避免实

#华为云
5010亿总参只激活230亿:稀疏专家模型如何降低大模型部署门槛

稀疏专家架构通过动态路由机制,在保持大模型知识容量的同时大幅降低推理计算量,其核心原理是每次前向传播仅激活部分专家参数。这种设计显著降低了显存占用和计算成本,使千亿级模型能在消费级硬件上部署。在数据隐私要求高、需要深度定制的场景中,开放权重的稀疏模型为开发者提供了灵活且可控的解决方案。本文以Beam模型为例,深入解析5010亿总参、230亿激活背后的工程取舍与实操部署要点。

    共 395 条
  • 1
  • 2
  • 3
  • 40
  • 请选择