logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型学习6-模型量化与推理部署

基于不同数值表示的特点,研究者提出了模型量化方法,即将模型中的高精度浮点数映射至低比特定点数或整数表示,在尽量保持模型性能的前提下,显著降低模型的存储需求与计算开销。不过,即使用了KVCache,注意力机制仍面临一个突出的效率瓶颈:每当需要处理新词时,不仅要计算新词与已有历史词之间的关系,还需频繁将历史数据从容量较大但读写速度较慢的GPU显存中,读取到GPU上速度极快但容量非常有限的缓存中进行计算

#学习
云原生AI算力平台的架构解读

对idc内各种异构计算(GPU、CPU、NPU等)、存储(OSS、NAS、CPFS、HDFS)、网络(TCP、RDMA)资源进行抽象,统一管理和运维和分配,通过软硬协同优化,提供资源利用率。从异构资源管理的角度,可一键部署、操作各种异构资源,在运维过程中,需要多维度的异构资源可观测性: 监控、健康检查、告警、自愈等自动化运维能力。在平台侧,我们统一纳管了集群资源,实现了统一调度能力和模型生命周期管

#云原生#人工智能#架构
快速搭建你的数据智能分析 Agent

Agent 侧 k-LLMmeans n_clusters=15~20 LLM 仅对质心调用 与样本量无关。聚类结果写回 ClickHouse cluster_id + cluster_summary。向量表 work_order_embeddings embedding + HNSW索引。向量写入 ClickHouse work_order_embeddings 表 支持增量。宽表 wide_w

#机器学习#支持向量机#人工智能
【OpenClaw】常见命令

注意:降级需要确认,因为旧版本可能会破坏配置。负责配置认证、网关设置和可选通道。

#缓存#memcached#分布式
OpenClaw大龙虾机器人完整安装教程

OpenClaw(大龙虾机器人)是一款本地部署的全能AI助手,可通过WhatsApp、Telegram、飞书等聊天软件实现邮件处理、日历管理、系统操作等功能,数据本地存储更隐私。本教程适配系统,包含基础安装、初始化配置、聊天软件对接及常见问题解决,新手也能快速上手。

#机器人
OpenClaw大龙虾机器人完整安装教程

OpenClaw(大龙虾机器人)是一款本地部署的全能AI助手,可通过WhatsApp、Telegram、飞书等聊天软件实现邮件处理、日历管理、系统操作等功能,数据本地存储更隐私。本教程适配系统,包含基础安装、初始化配置、聊天软件对接及常见问题解决,新手也能快速上手。

#机器人
Claude Code配合Astro + GitHub Pages:为 sharelatex-ce 打造现代化的开源项目宣传页

个“颜值即正义”的 GitHub 时代,宣传页(Landing Page)就是项目的脸面。它不仅能让用户在 3 秒钟内明白你的项目是干什么的,更像是一种“专业背书”。一个精致的页面在无声地告诉访问者:“看,开发者连这种细枝末节都打磨得这么认真,代码质量肯定差不了。

#github
.NET Core 双数据库实战:优雅融合 PostgreSQL 与 SQLite 的最佳实践

在将HagiCode从单一数据库重构为双数据库支持的过程中,我们踩过一些坑,也总结了一些关键的经验,希望能给大家避坑。通过引入抽象层和配置驱动的依赖注入,我们在HagiCode项目中成功实现了 PostgreSQL 和 SQLite 的“双轨制”运行。这不仅极大降低了新开发者的上手门槛(不需要装 PG),也为生产环境提供了坚实的性能保障。抽象至上:业务代码不依赖具体数据库实现。配置分离:开发和生产

#数据库#.netcore#postgresql
OpenClaw大龙虾机器人完整安装教程

OpenClaw(大龙虾机器人)是一款本地部署的全能AI助手,可通过WhatsApp、Telegram、飞书等聊天软件实现邮件处理、日历管理、系统操作等功能,数据本地存储更隐私。本教程适配系统,包含基础安装、初始化配置、聊天软件对接及常见问题解决,新手也能快速上手。

#机器人
Claude Code配合Astro + GitHub Pages:为 sharelatex-ce 打造现代化的开源项目宣传页

个“颜值即正义”的 GitHub 时代,宣传页(Landing Page)就是项目的脸面。它不仅能让用户在 3 秒钟内明白你的项目是干什么的,更像是一种“专业背书”。一个精致的页面在无声地告诉访问者:“看,开发者连这种细枝末节都打磨得这么认真,代码质量肯定差不了。

#github
    共 15 条
  • 1
  • 2
  • 请选择