登录社区云，与社区用户共同成长
邀请您加入社区
本文提出M³LLM框架，首次系统研究分子图层级表示（原子/官能团/分子级）在多模态大模型中的作用。通过设计层级图编码器和两阶段训练策略（特征对齐预训练+LoRA微调），探究了不同特征融合策略对下游任务的影响。实验发现：1）不同任务需要不同层级特征（如反应预测需图级全局信息，分子描述需官能团语义）；2）当前静态特征融合方式存在局限；3）LLM更依赖SELFIES文本模态而非图结构特征。研究为开发动态
文章详细介绍了提升大语言模型性能的两种关键技术：RAG(检索增强生成)和Fine-tuning(微调)。RAG通过外部知识库检索增强回答准确性，适合信息频繁更新的场景；微调则通过特定数据集训练模型，提高在特定领域的表现，适合需要快速响应和高准确性的场景。文章从处理速度、准确性和成本三方面对比了两种技术的区别，并指出最佳选择取决于具体应用场景和需求。
如果你想真正理解这些改变背后的技术逻辑，亲手构建属于自己的 LLM 应用，那么这本《图解大模型》将是一本不可错过的实战之书。
最近由于工作需要，将transformer的相关资料看了下，网上很多关于transformer的讲解，但是很多都只讲了整个架构，涉及到的细节都讲的不是很清楚，在此将自己关于某些细节的体 会写出来，大家一起学习探讨下。下图是transformer的原始架构图，就不细讲了。对于机器翻译来说，一个样本是由原始句子和翻译后的句子组成的。比如原始句子是： “我爱机器学习”，那么翻译后是 ’i love ma
transformers在自然语言处理领域有着天然的优势，transformers改进了RNN(循环神经网络)训练慢，不能够建立序列之间的长期依赖，记忆消失的缺点。transformers的核心在是self-attention,输入一组序列，它能够平行的计算并平行的输出另一组经过编码的序列。
这几本书是一路上踩坑总结的「大模型学习黄金书单」，从编程入门，到深度学习基础，再到 LLM 原理、落地应用，完整一条线，不忽悠、不烧香，适合想认真搞事的朋友！
1. 文本情感分析简介何谓文本情感分析，其实很简单，利用算法来分析提取文本中表达的情感。例如分析一个句子表达的好、中、坏等判断，高兴、悲伤、愤怒等情绪。如果能将这种文字转为情感的操作让计算机自动完成，就节省了大量的时间。对于目前的海量文本数据来说，这是很有必要的。2. 文本情感分析分类文本情感分析主要有三大任务，即文本情感特征提取、文本情感特征分类以及文本情感特征检索与归纳。而关于文本情感分析的方
BrowseComp-VL是为在现实网络环境中运行的高级多模态推理代理而设计的。BrowseComp-VL被组织成5个主要领域，包括17个细粒度的子领域。（1.自然科学与形式科学(化学、物理、生物与医学、数学)，2.工程与计算机科学(工程、计算机科学与人工智能)，3.社会科学与人文科学(社会科学、历史、政治、地理)，4.艺术、娱乐与体育(艺术、音乐、电视、游戏、体育)，5.其他）Level 1：问
DPCNN（Deep Pyramid CNN），是2017年腾讯AI-Lab提出的一种用于文本分类的网络，可以称之为"深度金字塔卷积神经网络"。
基于Prompt的MLM文本分类 bert4keras实现
2021年美赛C题（大数据题）- 胡蜂的传播（图像，文本和地理位置信息——构建多模态模型）今年参加美赛，属实有些无奈。队伍里只有我一个人在负责模型和代码，加上在假期各自在家没办法做到紧密合作，所以结果也可想而知????。但是我还是想在这里分享一下：我的思路 (本篇)在网上看到的另外一个类似的思路（F）O奖思路对三者进行比较。目录2021年美赛C题（大数据题）- 胡蜂的传播（图像，文本和地理位置信息
最近在生成相关论文时，经常看到使用BART（Bidirectional and Auto-Regressive Transformers，双向自回归变压器）模型作为基线比较，或在BART模型上进行修改。因此，回顾一波BART模型，做一下分享。论文地址：Paper代码地址：Github如果说BERT模型是仅使用Transformer-Encoder结构的预训练语言模型，GPT模型是仅使用Transf
将 transformers 版本降级至 4.39.2 可解决此问题。llama-cpp-python, pynini无法安装。解决了pynini没有安装的问题。安装xinference的依赖。完成部署后就可以和LLM对话。启动xinference。
GRNN的实现GRNN以RBF神经网络为基础发展而来。与RBF神经网络相比，GRNN更适合解决曲线拟合问题，并且速度更快。利用GRNN对运输系统的货运量进行预测。%%清空环境变量clear allnntwarn off;%%载入数据load data;%载入数据，并将数据分成训练和预测两类p_train=p(1:12,:);t_train=t(1:12,:);p_test=p(13,:);t_te
随着大数据时代的到来，文本分类成为了自然语言处理领域中最重要的任务之一。文本分类可以帮助我们自动将大量文本分为不同的类别，从而加快信息的处理和理解。FastText是Facebook AI Research团队开发的一个高效的文本分类工具，它能够在处理大规模文本数据时快速训练模型。在本篇博客中，我们将介绍FastText模型的原理、优缺点以及如何使用FastText模型来进行文本分类任务。
word2vec模型训练
本文主要收录常见的文本分类算法，包括LR、XGBOOST、TextCNN、DPCNN、HAN、BERT。TextCNN1TextCNN是将CNN应用到文本分类任务上的经典模型。模型结构1. 词向量层词向量矩阵xn×kx_{n \times k}xn×k，nnn表示句子的长度，kkk表示词向量的维度，通道包含静态词向量和动态词向量。2. 卷积层沿着字符的方向进行一维卷积，每个filter的卷积结果
本文使用推特二分类数据集展示了文本分类的详细流程。
它为你揭开Llama大模型的神秘面纱，无论你是新手还是老手，都能在这里找到深入浅出的讲解和宝贵的实践灵感。
面试失败公司：字节跳动职位 :AL lab 的NLP方向面试时长 ：1h一面就失败了，没有二面，面试官非常年轻，感觉字节面试官都很年轻。面试官因为疫情也是在居家远程办公，虽然最后没面过，但就像东京喰种里面所说，世界上一切的不利都是当事人能力不足所导致的，跟面试官没什么关系。刚开始自我介绍一下，xx大学读研，研一下，NLP方向，想找个日常实习，没论文，项目也都不是纯NLP方向的，比赛经历，最近在搞京
卷积神经网络（CNN）是一种在计算机视觉领域取得显著成就的深度学习模型，其设计灵感来源于生物视觉系统，旨在模拟人类视觉处理过程。CNN在图像识别、目标检测和图像生成等多个领域都有重要应用。文章首先介绍了图像在计算机中的表示方式，包括灰度图和RGB颜色模型，然后解释了为何需要学习CNN，特别是其实现平移不变性的能力。接着，文章详细阐述了卷积操作的基本概念，包括卷积核、步长、填充值等，并说明了卷积神经
最近做一些音乐类、读物类的自然语言理解，就调研使用了下Stanford corenlp，记录下来。
神经网络的后向传播是在神经网络进行训练时，神经网络各层更新数值的方法。后向传播大致可以分为以下三种情况：在节点处相加的情况：节点会将传入的梯度值直接向后传播。在节点处相乘的情况：将输入端的值对调，并和传入的梯度值相乘。在节点处进行函数变换：对函数求导，并和传入的梯度值相乘。特别的，如果g=max()g=max()g=max()，那么只有达到了max的x的分量会传出梯度值，其它分量传出的梯...
文本分类作为自然语言处理中最基本的一大任务，应用面特别广，有“万物皆可分”之说，可见其重要性。本文基于PyTorch实现多个模型对中文文本进行分类、比较任务，分别为在序列维度上取平均得到句子表示的简单AVG基线模型、使用[2,3,4]kernel size后concate的CNN模型、双向LSTM模型及BERT模型。项目代码：BERT中文预训练模型：百度网盘链接，提取码：mpzx数据集数据...
在使用训练好的LLM进行自回归预测下一个token时，我们会选择预测序列中最后一个token对应的预测tensor，作为解码操作的对象。
Task3——基于机器学习的文本分类1.⽂本表示方法这里插入一下word2vec，在讲word2vec的过程中一般要对one-hot进行介绍，这里推荐一篇文章，很详细的揭示了文本表示的本质（主要是word2vec）。秒懂词向量word2vec的本质1.1 One-hot这里的One-hot与数据挖掘任务中的操作是一致的，即将每一个单词使用一个离散的向量表示。具体将每个字/词编码一个索引，然后根据索
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模
本文首先搭建GPT架构包含的🧍各个小组件，然后将这些组件串联起来，得到最终的GPT架构。
在完成了tokenization之后，我们已经可以将一个个的单词映射到对应的数字，称之为token ID，这些数字已经可以被计算机处理。
本文首先介绍了如何从头开始实现一个自定义tokenizer，用于将原始文本数据转化为模型能够理解的格式。
文档切片是将长文档分割成适合语言模型处理的小块，是RAG系统成功的关键前提。文章介绍了五种文档重要性前提（有文档、组织性、一致性、版本管理、属性管理）和四种切片方法（固定大小、递归、语义、元数据），针对不同文档类型提供处理建议，并详细说明了切片后的存储方式和在RAG系统中的应用流程。强调高质量文档和数据治理是构建有效大模型应用的基础。
下面是该类的一些题目：题目基于预训练语言模型的中文短文本分类研究基于预训练语言模型的抽取式摘要方法研究基于预训练语言模型的文本情感分析基于预训练语言模型的自然语言理解方法研究基于预训练语言模型自注意力机制的情感分析研究多目标语言图像描述模型的研究多语言中语音信息的分割，提取和识别多语言文本语义相似度的计算及其应用研究对抗网络在语音和语言任务上的应用对话系统中面向小样本的自然语言理解手写中文文本视觉
在这一新的阶段里，我们将结合开源的轻量级大语言模型MiniMind，针对《大模型炼丹术》系列中没有涉及或者浅浅带过的进阶知识点进行详细讲解。
多任务学习-Multitask Learning概述
自然语言处理
——自然语言处理
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
北京朝阳AI社区
讯飞AI开发者社区
上海城市开发者社区
