logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

RAG上下文压缩实战:让大模型不再“看花眼

上下文压缩这个方向,现在还有很大的优化空间。我目前实验的方向是动态预算分配——对于简单问题只给500token,对于复杂问题给3000token。不需要每次都全量压缩。话说回来,RAG的根问题还是检索质量。压缩只是补救。检索做得好,压缩需要做的工作就少很多。下一篇打算讲讲RAG的查询改写,可以关注一下。

#python#windows#开发语言
Windows Docker安装OpenClaw最强攻略:从零部署到问题解决全解析

安装这玩意儿确实有些门槛,但配置好之后是真香。我现在每天早上一睁眼,OpenClaw已经把当天要处理的消息整理好推给我了。之前手动刷群刷半天的功夫,现在全省了。有问题评论区问,看到了都会回。下期预告下一篇文章讲Linux服务器上的部署,以及可能会遇到的坑。敬请期待!往期文章无相关文章Linux服务器Docker部署OpenClawVPS云端部署OpenClaw+公网访问微信/Telegram/QQ

#windows#docker#容器
Linux服务器Docker部署OpenClaw:腾讯云/阿里云/VPS安装避坑指南

安全组要开放端口防火墙要放行数据要挂载卷但配置好后真的爽,24小时运行,随时随地都能用。有问题评论区问,看到了都会回。下期预告下一期讲讲怎么在VPS上低成本部署OpenClaw,30块一个月,还要能通过域名让外网访问。敬请期待!往期文章Windows Docker安装OpenClaw参考资料OpenClaw官网:https://openclaw.aiDocker官方文档:https://docs.

#linux#运维#服务器
Docker Compose集群部署OpenClaw:多实例高可用方案

升级零 downtime一个实例挂了,其他接着服务负载均衡,性能更好缺点:成本高点,需要3台VPS。中小用户其实单实例就够了,生产环境建议上集群。有问题评论区问,看到了都会回。下期预告下一期讲讲一键脚本安装,5分钟搞定部署。敬请期待!往期文章Windows Docker安装OpenClawLinux服务器Docker部署OpenClawVPS云端部署OpenClaw+公网访问参考资料OpenCla

#docker#容器#运维
Python函数进阶:*args和**kwargs、lambda匿名函数,让代码瞬间简洁

本文介绍了Python函数的三个进阶特性:*args、**kwargs和lambda匿名函数。*args用于接收任意数量的位置参数(元组),**kwargs用于接收关键字参数(字典),两者可组合使用。lambda适合创建简单的一次性函数,常用于排序、映射和过滤等场景。这些特性能让代码更简洁灵活,适合处理可变参数和简化函数定义。掌握它们可以提升Python编程效率,使函数功能更加强大。

#python#开发语言#前端
MCP协议原理与实战:让大模型真正「能动」起来

"""Args:"""Args:Args:'"Args:Args:Args:Args:Args:\n")MCP 协议目前还处于早期阶段,生态还在建设,但它解决的是一个真实的工程问题:大模型应用的可扩展性。我现在写任何新的 AI 应用,第一件事就是看有没有现成的 MCP server 能用。

#人工智能#AIGC
DPO优化实战:不用强化学习也能对齐大模型偏好

DPO是个很聪明的设计。它没有发明什么全新的东西,而是换了一个角度看问题——“既然Reward Model也是从人类偏好中学来的,为什么不让模型直接学偏好?有时候,最好的解决方案就是砍掉中间层。如果你已经在做模型对齐,强烈建议从DPO开始。成本低、效果好、上手快。等搞清楚了偏好优化的门道,再决定是否要上PPO。毕竟,先跑起来,再跑快,才是工程正确的姿势。

#人工智能#机器学习
RAG上下文压缩实战:让大模型不再“看花眼

上下文压缩这个方向,现在还有很大的优化空间。我目前实验的方向是动态预算分配——对于简单问题只给500token,对于复杂问题给3000token。不需要每次都全量压缩。话说回来,RAG的根问题还是检索质量。压缩只是补救。检索做得好,压缩需要做的工作就少很多。下一篇打算讲讲RAG的查询改写,可以关注一下。

#python#windows#开发语言
大模型推理太慢?我把KV Cache的原理和优化方案拆了个干净,附带实测数据

KV Cache是大模型推理优化里投入产出比最高的一环。正确配置vLLM的max_batch_size和gpu_memory_utilization打开Prefix Caching如果显存紧张,KV Cache量化到INT8这三步做完,吞吐量轻松翻倍。说白了,很多性能问题不是模型不行,是部署的人没配好缓存。下一篇我打算聊聊vLLM里PagedAttention的底层实现——那个才真叫精巧。感兴趣的

#性能优化
Python变量和数据类型:int、str、bool,一篇文章把数据类型讲透

本文详细讲解Python的核心数据类型及其转换方法。主要内容包括:Python是动态类型语言,自动判断变量类型;常用数据类型有int(整数)、float(浮点数)、str(字符串)、bool(布尔值)等;重点阐述了类型转换的必要性和方法(int()、float()、str()、bool());通过计算器实例演示类型转换的实际应用;最后介绍了type()和isinstance()类型查询方法。文章强

#python#算法#开发语言
    共 145 条
  • 1
  • 2
  • 3
  • 15
  • 请选择