登录社区云,与社区用户共同成长
邀请您加入社区
本文介绍了如何使用XTuner微调框架对Qwen2.5-1.5B-Instruct模型进行单卡QLoRA微调。主要内容包括:1)XTuner特性分析,突出其配置驱动、多卡支持及完整工具链优势;2)详细环境搭建步骤,包括Conda环境创建和依赖安装;3)模型下载与数据准备方法;4)核心配置文件修改指南,涵盖路径设置、超参数调整等关键环节。教程采用Alpaca格式数据,通过Python配置文件实现全流
大模型微调实战指南:LoRA/QLoRA技术精要 本文系统梳理了大模型微调的核心技术LoRA与QLoRA,重点解析了10个实战痛点: 秩r设置过大导致过拟合 target_modules配置不全影响效果 学习率设置不当拖慢训练 梯度累积缺失降低稳定性 数据格式不规范引发异常 推理前未合并adapter影响速度 显存管理不当导致OOM 训练过程缺少checkpoint保护 评估指标单一失真 生产环境
本文以阿里为例,探讨了AI大模型岗位的工作日常与职责划分。文章指出,真正参与大模型研发的工程师往往无暇分享经验,网络上的相关描述多来自实习生或离职人员。作者基于实习观察,将大模型岗位细分为五大方向:模型训练/预训练(解决训练稳定性问题、优化效率)、模型对齐/后训练(数据质量把控与评估)、推理优化/部署(降低延迟与成本)、应用开发/工程落地(业务场景适配)以及数据方向(基础设施建设)。其中,模型训练
AI机器人路径规划正从传统算法转向深度强化学习(DRL)与大模型结合的技术路线,推动导航能力向全场景通用演进。核心算法包括DRL、模仿学习及混合方案,硬件平台涵盖NVIDIA Jetson、高通RB系列等。仓储物流、自动驾驶和家用服务机器人是三大落地场景,典型案例如极智嘉AMR(效率提升35%)、蔚来换电站(成功率99.7%)和科沃斯扫地机(识别准确率96.8%)。产品化需经历仿真验证、端侧部署和
对于许多关注 AI 发展的开发者、高校学生和科研人员来说,想要跑通一个 AI 实践项目,最头疼的往往不是算法本身,而是“资源匮乏”。别担心,今晚我们来为你送上一套官方的“AI 实践资源大礼包”!我们邀请到了 AMD 软件工程师潘嘉航与 CSDN 资深编辑王启隆,共同探讨如何利用 AMD 官方的开源技术栈与 AUP资源体系,为广大开发者提供一站式的“硬核资源武装”。
IT之家 6 月 30 日消息,北京时间今天(30 日)凌晨,谷歌宣布,Gemini 应用 Nano Banana 驱动的个性化图像生成功能将扩大至更多用户。所有符合条件的美国用户都可以免费使用,不再只是 Plus、Pro 和 Ultra 订阅用户的专属。谷歌 4 月曾宣布,将在 Gemini“个性化智能”功能中加入 Nano Banana 图像生成能力,让生成结果更贴合每名用户的兴趣。用户无需在
本文介绍了如何使用llama.cpp工具在普通电脑上运行AI大模型。只需8GB内存和50GB硬盘,即可本地运行低配AI模型,无需顶级显卡。文章详细提供了下载模型文件、安装运行(支持图形界面、命令行、Docker)、性能优化等步骤。低配电脑可用于写作、查资料等任务,数据私密且无需网络。◎ 一、你的电脑其实能跑大模型很多人觉得“跑AI大模型必须有顶配显卡”,其实不是。2026年的开源生态已经完全变了:
# PyTorch 2.0 生产级部署与性能优化指南## 一、PyTorch 2.0 的革命性变化torch.compile 通过图捕获和算子融合将训练速度提升 30-200%。```py
本文系统介绍了AI大模型训练的全生命周期,包括数据获取、处理、预训练、微调、强化学习、评估部署等核心环节。文章从实际工业实践出发,对比分析了OpenAI、Meta、Google等公司的技术方案,详细阐述了关键步骤:数据来源与配比(Common Crawl、GitHub等)、质量过滤与去重(MinHash/LSH)、分词器设计、预训练优化策略、监督微调(SFT)和人类反馈强化学习(RLHF/DPO)
本文系统性地解析了大模型(LLM)行业的发展现状、职位分类、核心技术知识图谱,并提供了候选人评估与面试提问技巧,最后还介绍了大模型人才寻访策略。文章涵盖了国内外大模型发展现状、产业链构成、人才需求、核心技术演进、职位详细解读、评估面试技巧以及人才寻访策略等多个方面,为猎头和算法候选人提供了全面的大模型职位知识参考。 目录包括:大模型行业全景、职位分类、各职位详细解读、核心技术知识图谱、候选人评估与
最近干了一件事: 把一套原本跑在 NVIDIA A100 上的训练和推理代码,整个儿搬到了 AMD Instinct™ MI300X + ROCm™ 上。说实话,动工之前我也犹豫过——毕竟"换平台"听着就像给自己找麻烦。但真走完一遍才发现,没有想象中那么折腾。这篇就把过程里的坑和经验摊开讲讲,希望你看完能少绕点弯路。文末我放了个 200 小时免费云算力 的领取入口,看完正好拿去实测。
Handoff(交接模式)允许Agent根据上下文或用户请求相互转移控制权。每个Agent都可以将对话“交接”给具有相应专业知识的其他Agent,确保任务的每个环节都由合适的Agent处理。这在客户支持、专家系统或任何需要动态委派任务的场景中尤为有用。
本文介绍了在MacBook Pro上本地部署Llama3.1大模型的详细步骤,适合AI新手学习实践。通过Ollama工具简化模型下载与量化过程,结合Docker容器和Open WebUI实现可视化交互。方案选择上对比了原始模型量化与Ollama一键部署的优劣,推荐后者降低入门门槛。具体流程包括:安装Ollama并下载Llama3.1模型、配置Docker镜像加速、部署Open WebUI界面。文章
在前文中,我们详细介绍了MAF的Workflow框架中的Checkpointing机制,并且通过一个示例程序演示了如何利用Checkpointing来实现Agent的状态持久化和恢复功能。其中提到一个关于FanInEdge的bug,我认为这是一个非常严重的bug,它会导致只要涉及到FanInEdge的Checkpointing功能就无法正常工作。我为此在github上提交了一个Issue,我们现在
聊到上线,方向变了——而且是合理地变。这东西要长期挂公网给人用,Node 那套部署还得装运行时、起进程、配守护、挂了得拉起。我后端本就是 Java,干脆整体落到 Spring Boot 3.3.5 + Java 17:打成单个可执行 jar,配多阶段 Dockerfile(maven 先构建、产物塞进 jre 运行镜像),一拉即起,前置Nginx 反代 + Let’s Encrypt 自动签证书。
但这些项目的安装非常繁琐,现在国外有人作了一个安装配置这些大模型的项目,ollama,可以让你在本地电脑上轻松安装运行大模型。访问https://ollama.com/download,下载windows版,即可在大家所熟悉的windows平台上轻松安装起来,并进一步轻松安装各种大模型。在ollama安装成功后,大家就可以在windows的命令行模式下,运行ollama run qwen:7b,第