logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从零理解Engram:给大语言模型配一本“智能速查手册“

本文提出Engram机制,通过"条件记忆"解决大语言模型的计算冗余问题。传统Transformer架构浪费10%-30%的计算资源在重复构建固定符号上,Engram则通过三大核心技术实现高效检索:分词器压缩减少词表冗余、多头哈希降低存储碰撞率、上下文门控解决语义歧义。实验表明,Engram与MoE架构协同工作,在固定参数预算下形成双重稀疏性,使模型性能提升2-4%。Engram

#语言模型#人工智能#自然语言处理
DeepSeek开源多模态大模型Janus-Pro部署

我找了个网图,由于担心版权问题我没有发全,同时你会发现AI它可以识别出来P图。本人家用电脑为1060,因此部署的7B模型。配置高的可以考虑更大参数的模型。

文章图片
#python
A-MEM —— 让大模型 Agent 拥有会自主演化的记忆系统

摘要: 论文提出A-MEM记忆系统,旨在解决LLM Agent在长期交互中的记忆管理问题。传统记忆系统存在预定义操作和固定结构的局限性,导致泛化能力差和长期效果下降。A-MEM通过动态链接和演化机制,使记忆能够自主建立关联并随新信息调整。其核心模块包括:结构化记忆卡片构建、基于语义相似性和LLM判断的链接生成、以及新旧记忆相互演化的能力。系统受Zettelkasten方法启发,将记忆组织为动态知识

#microsoft#人工智能
一文读懂 SubQ:为什么“次二次稀疏注意力”可能改变长上下文 AI?

摘要:SubQ模型如何突破长上下文处理的瓶颈? 大语言模型在处理超长文本时面临的核心瓶颈是注意力机制的平方级计算复杂度(O(n²))。SubQ模型提出的"次二次稀疏注意力"架构(Subquadratic Sparse Attention)通过智能筛选token连接关系,将计算复杂度降至接近线性增长(O(n)),同时支持1200万token的上下文窗口。该技术若被验证,将显著降低

#人工智能
神经符号人工智能

神经符号人工智能(Neuro-Symbolic AI)是连接主义与符号主义深度融合的AI子领域,旨在结合神经网络的数据学习能力和符号系统的逻辑推理能力。其核心优势在于互补性:神经网络擅长感知任务(如图像识别),符号系统擅长认知任务(如逻辑推理)。近年来,深度学习的技术突破推动了该领域的复兴,同时产业对可解释性AI的需求也加速了其发展。主要研究方向包括用深度学习解决符号问题(如逻辑推理)和用符号知识

#人工智能
Agent记忆详细讲解

AI Agent记忆系统五大范式解析与架构设计实践 本文系统分析了AI Agent记忆系统的五大设计范式及两种典型实现架构。五大记忆范式包括:Text2Mem(原子操作指令)、Mem0(中间件封装)、Letta/MemGPT(虚拟内存管理)、ReMe(透明文件系统)和memU(主动记忆Agent),分别适用于不同场景需求。 重点解析了Hermes Agent的四层记忆架构设计: 工作记忆层:负责会

#人工智能
各种强化学习理论以及代码实现

本文介绍了强化学习的核心理论贝曼方程及其实现。贝曼方程通过递归分解将未来回报拆解为即时奖励与下一状态折现价值之和。文章首先阐述了马尔可夫决策过程(MDP)的五要素和折现回报概念,然后定义了状态价值函数V和动作价值函数Q,推导出贝曼期望方程和最优方程。最后通过Python代码展示了价值迭代算法的实现,包括状态价值计算和策略优化过程。贝曼方程为从动态规划到深度强化学习的各类算法提供了理论基础。

#人工智能
from PyQt5 import QtCore, QtGui, QtWidgets ImportError: DLL load failed: 找不到指定的程序

然后将python(也有的是python3)的dll文件丢到python或者anaconda的目录。在GitHub上copy别人项目的时候python版本不一致导致。1.需要安装KB2999226的补丁包。PYQT程序一使用就报错。

#qt#python#开发语言
python安装第三方库after connection broken by ‘ProxyError ‘Cannot connect to proxy.‘

关闭代理,重置hosts和lsp,重启再次安装第三方库即可

#python
深度学习之二手手机价格预测

文章目录特征解释代碼分布解析导包构建数据集创建模型模型训练模型预测效果特征解释battery_power:电池一次可储存的总能量,单位为毫安时blue :是否有蓝牙clock_speed:微处理器执行指令的速度dual_sim:是否支持双卡fc:前置摄像头百万像素four_g:是否有4Gint_memory:内存(GB)m_dep:移动深度(cm)mobile_wt:手机重量n_cores:处理器

#深度学习#pytorch#python
    共 59 条
  • 1
  • 2
  • 3
  • 6
  • 请选择