登录社区云，与社区用户共同成长
邀请您加入社区
摘要： MiniCPM桌宠是一款基于本地化AI的桌面交互宠物，依托Intel AIPC硬件与OpenVINO引擎优化，实现零云端依赖、全离线运行，保障隐私安全。其核心特点包括： 一键部署：口语化指令即可完成安装，自动适配网络、硬件及依赖环境，新手友好； 轻量化高效：MiniCPM5端侧模型仅1.5GB，支持情绪陪伴、文案润色等功能，资源占用低； 双算力模式：GPU模式流畅交互，NPU模式低功耗挂机
3条都执行了，还有报错，看来layer有问题，明天解决一下。就可以体验jupyterlab环境了。prototype原型、最初形态。仔细看json文件，有不少怪异符号。benchmark基准检测。进入openvino专区。
vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →由 OpenVINO 驱动的 vLLM 支持来自 vLLM 支持的模型列表 <…/models/supported_models> 中的所有 LLM 模型，并且可以在所有 x86-64 CPU 上（至少需要 AVX2 支持）进行最佳的模型服务。
基于的桌面端 OCR 文字识别演示程序，通过 C# Windows Forms 实现模型的在线下载、图片上传、OCR 推理、检测框可视化及耗时统计。
1. 你真的在跑 Agent——不是偶尔用 ChatGPT 聊天那种，是有代码在跑、有 tool calling 在调。做了一个 OpenAI 兼容的 API 端点——改一行 base_url 就能接到你的 Agent、你的。就是一个开发者自建的推理节点，专给 Agent 用。- ARM64 + 32B，单请求速度不快（~13 tok/s），但 vLLM 连续批处理下系统吞吐还行。（128GB 统
CoreOCROnnx 是一个面向私有化部署的离线 OCR 组件，基于 ONNX Runtime / OpenVINO 后端封装 C++ 动态库，并提供 C# SDK、WebAPI 服务和多语言调用示例。当前版本支持 PP-OCRv5、OCR 检测/方向分类/文字识别、YOLO detect/pose/classification/seg/obb 等能力，同时支持文件、字节、Base64、Mat
OpenVINO™ C# API 3.3 正式发布！本次版本正式接入 OpenVINO GenAI，让 C#/.NET 项目可以直接调用本地 LLM、Whisper 语音识别和 VLM 图文问答能力。传统推理继续稳定支持，GenAI runtime 按需引入，覆盖 net46 到 net10.0，更适合桌面、工业、内网和边缘 AI 应用落地。
本地运行 · 不上传云端 · 一句话部署 —— 基于 MiniCPM 桌宠 + OpenVINO™。
QString path = QFileDialog::getOpenFileName(this, "选择模型文件", "", "OpenVINO Model (*.xml)");// ==================== LLaMA OpenVINO 推理循环 ====================# ================== OpenVINO 配置 =============
做出一个能用的 Agent，曾经意味着不低的门槛——算力要够、链路要通、工程要硬，普通开发者很难轻装上路。
办公、游戏、观影时腾不出手？樱桃 AI 语音助手，语音指令轻松访问复杂系统功能与设置，从文件操作到系统配置，一句话搞定。
（注意模型路径更改为自己的路径））复制到你的项目输出目录。
本文将介绍 INT4 KV Cache 压缩是什么、如何开启，以及在实际使用中可以期待怎样的效果。
GPU 和 CPU 处理KV Cache动态性很自然——运行时动态分配内存就行。
近日，通义千问团队正式发布了 Qwen3-ASR 系列模型，包含 1.7B 和 0.6B 两个版本。作为 Qwen 语音家族的最新成员，它在多语言识别和处理复杂声学环境方面展现了卓越的性能。
本文给出一条参考部署路径：环境安装 → optimum-cli 一键导出 INT4 IR → openvino-genai LLMPipeline 推理 → Hybrid Reasoning 双模式实战。
即为：对于每个输入图像，输出 784 个局部区域的特征向量，每个向量 384 维。这些密集特征可以用于下游任务（如语义分割、对应关系匹配、可视化等）。模型的特征维度（ViT-Small 的输出维度为 384）。输入图像尺寸 448×448，patch size = 16，所以每张图像被分割成。个不重叠的 patch。每个 patch 对应图像中的一个局部区域。因此，导出的 ONNX 模型输出。工具
随着大语言模型（LLM）技术的快速发展，如何在保障数据隐私的前提下实现高效的本地知识问答成为亟待解决的关键问题。本文提出了一种基于OpenVINO推理框架的端侧私有化系统架构，通过深度融合向量检索与Qwen2.5大语言模型，构建了完整的个人知识库智能管家解决方案。系统在 Intel 异构计算平台上实现了 CPU/GPU/NPU 多设备协同加速，采用 INT8 量化与动态批处理技术，在保持模型精度的
这个周五，齐聚上海技术沙龙，沉浸式学习多模态模型部署优化技术，在真实项目实践中完成技术进阶与成果沉淀！
本文给出一条与OpenVINO Notebooks 中minicpm-v-4.6 教程严格对齐的部署路径。
openvino
——openvino
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
AtomGit开源社区
AMD开发者中国社区
AtomGit AI 社区
AI硬件创业社区
英特尔开发套件专区
AI Agent技术社区
