logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

使用 vLLM 部署 GLM-4.7-Flash 大模型完整指南

GLM-4.7-Flash 是智谱 AI 推出的一款高性能大语言模型。本文将详细介绍如何在 Ubuntu 22.04 + CUDA 12.4 环境下,使用 vLLM 框架部署 GLM-4.7-Flash 模型,支持双卡推理和工具调用功能。通过 vLLM 部署 GLM-4.7-Flash 可以获得高性能的推理服务,支持 OpenAI 兼容的 API 接口,方便集成到现有应用中。双卡张量并行可以有效提

#神经网络#人工智能#语言模型
资源换技术:AI Agent 降临后,我们进入了怎样一个时代?

AI Agent让智能从离散的、人可以"一次性消费"的交互产物,变成连续的、工业化的、拴在电厂和晶圆厂上的生产过程。这个过程的核心定价物不是创意,不是论文,不是GitHub star——而是电、硅、冷却水和机架空间。谁组织得起这些,谁就在"兑换"这个时代最值钱的产出:自主运转的心智级能力。如果你在做Agent产品——你真正的竞品不是隔壁创业团队,而是你的推理成本结构和算力供给合约。每美元电力的to

#深度学习#人工智能
可学习破坏策略:实现大语言模型二倍推理加速的统一自洽框架

自回归生成是当前大语言模型(LLM)推理延迟的根本瓶颈。基于 Jacobi 迭代的解码方法可将自回归过程转化为并行修正,理论上能将生成步数从序列长度nnn压缩至约n2n/2n/2,实现近 2 倍加速。现有工作(如 CLLMs)通过一致性训练让模型学会从任意含噪状态直接映射到完整序列,从而加速收敛。然而,这些方法中施加于训练数据的破坏策略(mask/噪声类型、位置、比例)均由手工规则设计,无法针对模

#学习#语言模型#人工智能
CSDN独家首发!AI开发者三重爆品福利限时领——Claude Code新书、Agent大会视频、AMD算力券一次拿下

学AI的人最怕什么?不是学不会,是刚学会就过时了。好消息是,CSDN独家首发了一波真正称得上"重磅"的AI开发者福利。一次性打包了三项硬核资源,限时免费领取。今天我就来逐项拆解,帮你判断每项福利的含金量。

#人工智能#大数据
写了三年小说零读者?这个开源AI工具,3小时能给你一部广播剧

BokeSkill 让我想起 2022 年的 Stable Diffusion——初版还很粗糙,但所有人都知道:游戏规则变了。当广播剧的制作成本从"5 万元 + 2 个月"降到"0 元 + 3 小时",当配音演员、音效师、混音师的工作可以被一组本地 AI 模型替代,整个音频内容创作的生态都会被重塑。但这不是"AI 取代人类"的故事。这是**“让更多创作者用上音频表达”**的故事。那个写网文的朋友,

#人工智能
一名大神的github

https://github.com/carpedm20

利用Chatbox与Ollama平台实现DeepSeek R1模型的高效本地化部署与应用

随着大型语言模型(LLMs)的发展,越来越多的研究人员和技术爱好者希望能够在其个人设备上部署这些强大的AI工具。本文旨在介绍一种简便的方法,通过Chatbox与Ollama平台相结合,实现在本地环境中运行DeepSeek R1模型。我们将探讨从安装到使用的全过程,并讨论这种方法对于学术研究、教育和个人项目的潜在价值。

文章图片
#人工智能
CSDN独家首发!AI开发者三重爆品福利限时领——Claude Code新书、Agent大会视频、AMD算力券一次拿下

学AI的人最怕什么?不是学不会,是刚学会就过时了。好消息是,CSDN独家首发了一波真正称得上"重磅"的AI开发者福利。一次性打包了三项硬核资源,限时免费领取。今天我就来逐项拆解,帮你判断每项福利的含金量。

#人工智能#大数据
使用Ollama API和Base64编码实现本地图像分析

本文通过Ollama的本地模型与Base64编码技术,实现了从图片读取到AI分析的完整流程。这一方案不仅降低了云端API调用的成本,还通过本地部署提升了响应速度。随着Ollama支持的模型不断扩展,未来可探索更多场景(如实时监控、文档分析等)。动手试试?安装Ollama并拉取支持图像的模型。将示例代码中的image_path替换为你的图片路径。观察分析结果,尝试调整提示词(prompt)以优化输出

#人工智能
我用trae写了个贪吃蛇

简单的聊天选择方可写项目

文章图片
#javascript#前端#android
    共 252 条
  • 1
  • 2
  • 3
  • 26
  • 请选择