logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

VideoMamba来了!高效视频理解的状态空间模型

VideoMamba:一种用于高效视频理解的纯基于SSM的模型,克服了现有 3D CNN和视频Transformer的局限性,在多个数据集上性能表现出色!代码刚刚开源!

#人工智能
自注意力机制优化方向

在自注意力机制中,这种方法可以用于快速计算P,方法是在Q和K上应用LSH,仅对近似的元素进行计算,而非直接进行Q和K的全量计算。为了简化scaled-dot product attention的复杂度,通常会假设序列中的每一个位置并不是同等重要的,比如一个词可能跟它附近的词比较相关,距离太远的词并不一定需要关注。,计算全局自注意力(每个元素与其他每个元素相乘)会变得非常困难,因此也就有了后来的一些

文章图片
#人工智能
Mamba再下一城!清华提出MamMIL:使用状态空间模型对WSI进行多示例学习

MamMIL:一种用于 WSI 分类的新框架,首次将Mamba(状态空间模型)与 MIL(多示例学习)组合,以更小的内存占用实现SOTA性能!

#人工智能
动态网络表征学习在推荐领域的创新与实践

导读:在现实生活中,用户对于一件事物的关注度即关系图往往是会随着时间而改变的。按照静态图的建模方法将不能显示地建模用户在时序上的兴趣变化。动态网络表征学习不仅能学习到当前网络的结构信息,而且也能学习到网络在时间上的变化,但是目前主要还是针对动态同构网络,本文在此基础上提出了基于层次化注意力机制的动态图表征算法,是推荐底层算法模型上的一次突破。01背景介绍目前大多数 Graph Embedding

spring-statemachine有限状态机

大中台战略下,中台将公司业务的公共能力下沉,并采用更加合理、可复用的架构和技术来实现这些基础能力。在电商行业内,将面临货物的采购、商品上架、交易发生、订单状态变化、客服介入等大量状态维护。每个状态之间具有很强的逻辑关联关系,比如:退款操作在发货前和发货后将是完全不同的流程,如图1订单退款流程。图1 退款流程图由此可见,对于复杂状态的管理是一个业务依赖,需求多变的场景。在公司初创期...

多模态大模型中的Cross-attention

Q-Former的设计体现了多模态大模型中的几个核心原则模态解耦:冻结单模态编码器,专注于跨模态对齐信息瓶颈:通过查询向量自适应压缩视觉信息多任务学习:ITC+ITM+ITG确保多层次对齐数学优雅性:Cross-Attention的简洁公式蕴含强大的表达能力数学基础:准确表述Cross-Attention公式几何直觉:流形、投影、压缩等概念工程思维:计算复杂度、训练成本、实际部署前沿视野:局限性和

#人工智能#transformer
一文详解AI大模型14个核心基础概念:Transformer、Token、MoE、RAG、Embedding、对齐、预训练、微调、Agent、MCP

本文系统性地梳理了构成现代AI大模型技术栈的一系列核心基础概念。从奠定基础的Transformer架构,到数据处理的Token与Embedding;从模型生命周期的预训练与微调,到追求效率与容量的MoE;从突破知识边界的RAG,到迈向通用智能的Agent;再到确保AI有益于人类的提示工程与对齐,以及必须正视的幻觉挑战。这些概念相互关联、层层递进,共同描绘了当前大模型技术发展的全景图。理解这些基础概

#人工智能#transformer
振动传感器数据的FFT分析(python)

接下来执行傅立叶变换的操作,在np.fft的包中,有两种fft方法供选择,一种是fft,另一种是rfft,如果样本数据点的个数为N,则fft方法返回N个变换后的数据点,rfft返回N/2+1个变换后的数据点。sampling_rate为数据点的采样频率(Hz),fft_size代表一个样本中包含的数据点的个数,signal代表传入的信号,时间标的单位为ms,linespace函数用来生成指定间隔内

文章图片
#python
国产 AI 框架 EasyAI:让 Java 程序员用 Java 的方式做 AI

不少 Java 小伙伴私下跟我吐槽:现在 AI 这么火,咱们写 Java 的是不是注定只能在旁边看戏?说实话,以前确实挺憋屈的。主流 AI 框架全是 Python 的天下(TensorFlow、PyTorch 等),咱们想入个门,不仅要跨过语言鸿沟,还得去趟 CUDA、cuDNN 这种“环境配置地狱”。配环境的时间比写代码还长,这种生态割裂感真的让人头大 。EasyAI 的出现正是为了打破这一僵局

#人工智能#java#开发语言
42个机器学习练手项目

从个性化推送(今日头条)、自拍美颜、自动翻译,到无人驾驶、图像识别等诸多领域……人工智能已经渗透进我们生活的方方面面,人工智能背后的机器学习和深度学习技术,也成为了“高薪”的代名词。那么,普通程序员如何踏入AI的浪潮,站上时代薪资顶端呢?今天,我们带来了 44 个机器学习的练手项目,分为「入门知识」、「基础课程」、「基础应用」、「综合应用」、「系统进阶」5个模块,层层递进,帮助你系统地入门...

    共 183 条
  • 1
  • 2
  • 3
  • 19
  • 请选择