logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从单机到集群:用vLLM+Ray优雅地部署你的分布式推理集群DeepSeek-R1-0528(附:完整YAML配置文件)

对于小模型,单机单卡或者单机多卡就能满足推理的部署需求,比如Qwen-32B,模型权重文件大概64G,单个H20的显存有96G,所以单卡就可满足。

文章图片
#分布式#人工智能#python +2
震惊!大模型提示词技术被颠覆!ACE框架让上下文“活“起来,性能暴涨10.6%,编程效率直接起飞!

ACE(智能体上下文工程)是一种革命性框架,将上下文视为不断演化的知识空间而非静态提示词。通过生成器、反思器和策展人三组件,它能智能累积优化上下文,避免"简洁性偏差"。实验显示,ACE在智能体基准测试上性能提升10.6%,适应延迟减少86.9%,为复杂任务提供更强大的上下文管理解决方案。

文章图片
#大数据#人工智能#架构 +2
百万token也翻车?揭秘AI长上下文的4大“翻车现场“及实战解决方案,程序员必看!

文章揭示长上下文大模型的四大失效模式(中毒、分散、混淆、冲突)及解决方案。通过上下文工程(压缩、摘要、隔离、分层式行为空间)可有效管理长上下文。Manus实战经验表明,避免过度工程、简化架构、信任模型是关键,应在模型能力与上下文管理间找到平衡,让AI助手真正发挥作用而不被长上下文"反噬"。

文章图片
#人工智能#架构#java +1
震惊!RAG技术天花板揭秘!9大绝招让你的大模型不再胡说八道,代码已打包

文章详细介绍了9种高级RAG技术,包括文本分块、重新排序、利用元数据、混合搜索、查询重写、自动裁剪、上下文蒸馏、微调大型语言模型和微调嵌入模型。这些技术能有效解决基本RAG系统面临的结果嘈杂、上下文不相关等问题。文章还提供了使用Meilisearch、LangChain等工具实现这些技术的具体方法,以及评估RAG系统效果的指标,帮助开发者构建更精准、高效的AI应用。

文章图片
#人工智能#大数据#深度学习 +3
从O(n)到O(log n):LATTICE框架彻底改变大模型检索范式,检索效率提升9%,小白也能秒会!

LATTICE是一种创新的LLM引导的层次化检索框架,通过将文档库组织成语义树结构,实现对数复杂度的搜索。该框架采用两阶段设计:离线阶段构建语义层次结构,在线阶段由LLM进行智能导航搜索。其创新的校准路径相关性评分机制解决了LLM判断噪声大、依赖上下文等问题,在BRIGHT基准测试上,Recall@100提升最高达9%,nDCG@10提升最高达5%。这种方法完全训练无关,易于更新和维护,为信息检索

文章图片
#人工智能#数据库#算法 +2
震惊!只需200行Python代码,我用DeepSeek-R1打造了能自动写论文的AI智能体

本文详细介绍了如何构建深度研究智能体(Depth Research Agent),该系统能自动对预设主题进行深入研究并生成报告。文章从系统架构到具体实现步骤全面解析,包括使用DeepSeek-R1模型、规划研究大纲、执行网络搜索、数据反思和最终报告生成等关键技术环节。作者提供了完整代码实现和Streamlit应用示例,使开发者能快速构建自己的AI研究助手,提高研究效率和报告质量。

文章图片
#python#人工智能#开发语言 +4
AI智能体2.0重磅来袭!告别“上下文溢出“,四大支柱重构大模型开发,小白也能搞定的架构革命!

AI智能体从1.0到2.0的架构演进,通过显式规划、分层委托、持久化内存和极致上下文工程四大支柱,解决了浅层智能体在处理复杂多步骤任务时的上下文溢出、目标丢失等问题,使AI系统能够处理需要数小时甚至数天才能完成的复杂任务。

文章图片
#人工智能#重构#架构 +4
RAG系统yyds!倒数排序融合(RRF)技术详解,让AI检索效率提升10倍,小白也能秒上手!

倒数排序融合(RRF)是一种简单高效的算法,用于合并多个检索系统的结果排序列表。通过公式RRF_score(d) = ∑ 1/(k + rank(d))计算最终得分,无需分数归一化。在RAG系统中广泛应用于混合检索、多查询检索和多模态检索场景。相比其他融合方法,RRF实现简单、无需调参、跨系统兼容,能有效提升检索质量。文章提供了Python实现代码和RAG-Fusion进阶应用,并讨论了优势、局限

文章图片
#人工智能#服务器#运维 +3
【程序员必看】11种RAG技术让AI不再“胡说八道“,大模型开发从此告别幻觉,代码效率提升200%!

随着人工智能的快速发展,检索增强生成(Retrieval-Augmented Generation,RAG)技术正在经历前所未有的演变。RAG技术通过将外部知识融入大型语言模型(LLM)的生成过程,极大地提高了AI系统的事实准确性和可靠性。如今,RAG正向更具智能性和自主性的方向发展,能够处理像超图这样的复杂结构,并适应各种专业领域的需求。本文将介绍11种最新的RAG类型,展示这一技术领域的创新前

文章图片
#人工智能#架构#java +1
突然发现 AI Agent设计思路真的好清晰

AI Agent 作为具备自主行为能力的智能体,其系统架构设计对功能实现与性能表现至关重要。本文基于 LLM 的AI Agent系统架构设计,分四部分展开。

文章图片
#人工智能#架构#大数据
    共 1687 条
  • 1
  • 2
  • 3
  • 169
  • 请选择