登录社区云，与社区用户共同成长
邀请您加入社区
前几天在 192.168.31.9 这台 H100 双卡的机器上配 Cline，想用本地的 Qwen3-VL-32B 做代码开发。本以为是个"装个 Ollama 跑模型"的简单活，结果一上手就踩了 6 个坑——Ollama 一直 OOM 加载失败、显存碎片化、split mode 自动跨卡、端口混乱、Model ID 猜不对、容器内外不互通。最后靠换vLLM 的 OpenAI 兼容 API才彻底解
本文分析了Flink多表JOIN导致状态爆炸的问题及解决方案。作者在处理10张MySQL CDC表关联的实时任务时，发现状态从几百MB暴涨至12GB。问题根源在于Regular JOIN会永久保存中间状态，TTL设置面临两难：太小会导致数据丢失，太大则内存爆炸。 Flink 2.1提出的MultiJoin方案通过"零中间状态"设计（用计算换存储）从根本上解决问题，但当前生产环境（Flink 1.1
摘要 本期专栏聚焦农业遥感AI技术，针对耕地与作物识别的行业痛点，提出双分支网络解决方案。方案通过地块分割与作物分类双任务协同，融合时序、纹理、光谱特征，有效解决裸地与耕地混淆、地块粘连、作物错分等核心难题。关键技术包括边界感知U-Net优化、干扰剔除模块和批量后处理，支持耕地精准提取、非农干扰自动剔除、多作物分类及批量制图。代码提供完整模型架构与干扰净化实现，可适配全国不同地貌的耕地监测需求，满
本文介绍了百度飞桨PaddleSeg推出的轻量化语义分割模型PP-LiteSeg及其应用实践。该模型通过SPPM简易金字塔池化、UAFM注意力特征融合和FLD轻量级解码三大创新模块，在保持精度的同时显著提升了推理速度，适合移动端和实时场景。文章详细讲解了从环境搭建、数据集制作到模型训练、评估、部署的全流程，包括代码示例和调优技巧。PP-LiteSeg相比传统分割模型具有参数量低、速度快、部署友好等
本文探讨了车端AI需求管理的变革需求与实践方法。文章指出传统人工管理方式难以应对车端AI需求的规模爆炸、跨域耦合和频繁变更三大痛点，提出基于ASPICE流程构建AI驱动的全生命周期需求管理体系。主要内容包括：1）分析ASPICE与车端AI的映射关系，明确需求层级划分；2）详细阐述车端AI系统需求分析的四步法：定义运行设计域、功能需求分解、非功能需求分析和需求优先级分配；3）展示需求到技术方案的映射
在 AMD Radeon Cloud 的 ROCm 单卡环境上，用 LoRA 对 Gemma 4 做情绪分类微调。单卡 17 分钟跑完 1 轮，准确率从 0.625 提升到 0.915，Macro F1 从 0.4824 提升到 0.8645。本文记录完整调优过程与结果分析。
vLLM本地部署指南摘要 vLLM是由加州大学伯克利分校开发的高效大语言模型服务引擎，以PagedAttention技术为核心，提供远超传统方案的吞吐量和内存效率。本文提供完整的本地部署教程： 环境准备： 推荐Linux系统+NVIDIA GPU 需安装Python 3.9+、CUDA工具包 支持conda环境隔离 安装部署： 提供标准/最小化/源码三种安装方式 支持自动或手动下载Hugging
原 Demo 基于 Gemma4 做 6 分类情绪识别，本次仅改动数据集相关代码，将任务替换为电商评论 5 星级情感分类，复用整套 LoRA 训练、评估代码，验证微调框架通用性。AMD ROCm 云环境，预装好 PyTorch、trl、peft、modelscope 等大模型微调依赖，使用 Gemma 4 E4B-it 基座模型做 LoRA 微调。3）数据划分逻辑保持不变，训练、验证、测试集截断复
今天分享一篇 **字节跳动·大模型应用算法(实习)** 的面经。整场聊了两个小时,从 Agent 的长短期记忆怎么设计,到 RAG 的每个环节为什么这么做,再到 asyncio、HyDE、SGLang vs vLLM,面试官一路追问到底,问得很细。这位同学把题目基本都还原出来了,我做了补充和校对,分享给正在准备大模型岗的你。
部署服务的时候其他都跟旧的一样，只不过多加一个--task=classify。旧镜像需要更新vllm。
在大语言模型技术快速迭代的浪潮中，数据安全与定制化需求推动着私有化部署成为企业和开发者的重要选择。Ollama 和 vLLM 作为两款备受关注的大语言模型部署和推理开源框架，各有千秋。接下来，我们将从多个关键维度对二者进行深度剖析，为你的私有化部署选型提供全面参考，并分享实用的实战经验与避坑技巧。
Pytorch安装目录前言1.配置虚拟环境2.下载pytorch3.完成测试目录前言最近代码的学习基本上都是需要啥用啥。整体来说基础特别的差。所以打算重新零基础的学习下Pytorch,基础学起，从安装开始，今后也一直更新。也好好学习一下csdn的排版。最近也是真的太浮躁了。急于求成，(。_。)参考文章：https://www.cnblogs.com/zhouzhiyao/p/11784055.ht
本文介绍了使用LLaMA Factory进行微调的步骤，包括环境搭建、数据准备、参数配置、训练和效果评估等，最终成功微调模型并使用Ollama部署，提升了模型表现，达到了预期的效果。有一点感受是跟之前接触的安全实验不太一样：大多数的安全实验都是我打了这个Payload，就一定会出现确定的结果，不管是弹计算器还是反弹Shell，一切都是确定的。而大模型的训练往往充满了玄学成分，可能需要多实验几次才知
train.py。
