登录社区云，与社区用户共同成长
邀请您加入社区
文章目录本文目的LDA模型的简单回顾LDA求解 —— 变分推断EM算法EM算法本文目的LDA，即Latent Dirichlet Allocation，是一个非常重要的文档主题模型，在众多领域均有着广泛的运用。本文聚焦于LDA模型的变分推断求解方法的数学推导，假设读者已经了解过LDA的基本原理。LDA模型的简单回顾首先对LDA模型做一个简单的回顾：假设数据集DDD中有MMM篇文档，其中第ddd篇文
以案例实现为材料，本文用一章节的内容给大家详细介绍一下Attention模型。这个案例主要是利用tfa框架Sequence to Sequence Model Architecture中的Attention以及Encoder-Decoder方法实现神经机器翻译（Neural Machine Translation，NMT），当然翻译的准确性不可能像BERT之类的那么好，但可以作为一个入门实验，通过
win+r打开并输入cmd回车打开终端在终端中输入以下代码进行安装。
本文探讨了Text Embedding和ElasticSearch的向量类型如何用于支持文本相似性搜索。本文将首先概述Text embedding技术，介绍该技术的一些应用场景，最后使用ElasticSearch完成一个简单的基于Text embedding的文本相似性搜索demo。从一开始Elasticsearch就作为全文搜索引擎提供快速而强大的全文搜索功能。在Elasticsearch 7.
学习b站https://www.bilibili.com/video/BV17y4y1m737?p=50的课程时，按照步骤写出现了点问题，然后稍微调整了下就实现了它视频中的效果。先看效果：实现步骤：1.python代码：def word_embedding():import torchimport pandas as pdfrom torch.utils.tensorboard import Su
参考目前网络上开源的医疗问答系统等项目，对基于neo4j的知识图谱构建及基于人为指定模板的问答系统构建进行了整理，笔者对代码进行了较为详尽的注释，供读者参考。
Transformer模型详解参考自台大李宏毅老师课件Transformer模型是谷歌大脑在2017年底发表的论文Attention Is All You Need[1]中所提出seq2seq模型。而Transformer这个seq2seq模型的特别之处是模型当中大量用到了Self-Attention这种特别的Layer。因此首先我们需要来了解的是Self-Attention这种特别的Layer。
我们进行了一系列实验，在一系列推理基准上比较了所提出的自一致性方法与现有方法。我们发现自一致性大大提高了所考虑的每个语言模型的推理精度，跨越了广泛的模型尺度。任务和数据集。我们在以下推理基准上评估自一致性。3•算术推理。对于这些任务，我们使用了Math Word Problem Repository (KoncelKedziorski等人，2016)，包括AddSub (Hosseini等人，20
nltk.stem.wordnet.WordNetLemmatizer()时报错BadZipFile(“File is not a zip file“)的解决方法
只需要在加载模型的位置修改成微调后的路径即可 将 evaluate.sh 中的 CHECKPOINT 更改为训练时保存的 checkpoint 名称，运行以下指令进行模型推理和评测： 改这一行即可：--model_name_or_path ./output/$CHECKPOINT/checkpoint-3000。nohup 是 no hung up的缩写，意思是不挂断。衣款式#抽绳", "summ
今天给大家介绍一下word2vec的Skip-Gram模型及其应用，并且简要介绍一下word2vec背后的一些数学原理，在这里我们主要通过python的Gensim库来实现word2vec的实战应用。word2vec是一种词向量的方法， 它可以让含义相近的词或者紧密关联的一些词具有较高的相似度，举例来说：“法国”与“巴黎” 的相似度要比“法国”与“北京”的相似度要高，这是因为如果一篇文章中出现“巴
纠错是从互联网起始时就在一直解决的问题，但是一直作为一些重要技术的辅助、附属功能而默默无闻，譬如搜索引擎、譬如火热的智能写作等。中文文本纠错任务，常见错误类型包括：谐音字词，如 配副眼睛-配副眼镜混淆音字词，如 流浪织女-牛郎织女字词顺序颠倒，如 伍迪艾伦-艾伦伍迪字词补全，如 爱有天意-假如爱有天意形似字错误，如 高梁-高粱中文拼音全拼，如 xingfu-幸福中文拼音缩写，...
虽然有很多翻译软件可供选择，但要找到好用且准确的软件还需要进行筛选，因为许多翻译软件在实际使用中的体验一般，有些内容甚至无法理解。经过我多次尝试，我推荐以下几款翻译效果不错且准确的软件！
作者：chen_h微信号 & QQ：862251340微信公众号：coderpaiGensim 是我比较常用的一个 NLP 工具包，特别是其中的 word2vec 模块，它的具体 API 如下：class gensim.models.word2vec.Word2Vec(sentences=None,size=10...
pandas语法汇总
总之，AI 技术在材料图像表征领域的应用已经取得了显著的进展，从传统机器学习到大规模预训练模型，这些技术不仅提高了实验室工作的效率和准确性，还为材料科学研究带来了新的可能性。随着 AI 技术的不断发展，我们有理由相信，材料图像表征将迎来一个更加智能化、自动化的未来。通过本文的介绍和 Notebook 实例的演示，相信专业人士和研究者们可以更加深入地了解 AI 技术在材料图像表征中的实际应用，从而更
我们根据性能问题的场景，按照单机和集群场景进行分类，再明确性能问题属于哪一类，明确好性能问题背景之后，才方便进行下一步问题的定位；在明确问题背景后，参考，选择对应的性能工具，采集性能数据并拆解性能，找到需要提升性能的模块；在明确性能瓶颈模块后，将问题细化定位到下发、计算和通信等模块，并通过本文目录搜索到对应章节找到对应优化算法。
一般来说，机器人可以跟人对话，机器人说什么是最难的，顶多是人工编写几种规则和模版来回复即可。但是要让机器人理解人的意图，确实非常难的事情。因为语言具有多样性，多义词，一语双关，长短句等，尤其是中文的博大精深。因此机器人需要特别多的数据，也就是模拟人的问法，让机器人理解这些意图特征，理解人的问法，以及人是如何回复别人的问题，这部分内容在Rasa里面称为训练数据。
简单的需求临近下班，小明忙完了今天的任务，正准备下班回家。一条消息闪烁了起来。“最近发现公众号的拼写检查功能不错，帮助用户发现错别字，体验不错。给我们系统也做一个。”看着这条消息，小明在内心默默问候了一句。“我 TND 的会做这个，就直接去人家总部上班了，在这受你的气。”“好的”，小明回复到，“我先看看”今天，天王老子来了我也得下班，耶稣也留不住。小明想着，就回家了。冷静分析说到这个拼写检查，小明
OCR技术应用：通过先进的图像处理算法，将扫描的纸质文档、图片或PDF文件中的文字转换为数字文本。NLP技术应用：利用自然语言处理技术，对OCR识别出的文本进行语义分析，提取实体、关系、情感等关键信息。
2024/07/09本文属于“LLM入门”系列，该系列是笔者自学LLM时记录的一些实践记录与心得，可能存在错误或过时的部分，请读者谅解。本文介绍了如何在Colab平台部署Llama2语言模型。
本文提出的StreamLLM是注意力计算的一种改进，同时选择了注意力窗口和注意力池来计算attention，并且在计算过程中不适用原输入序列中的绝对位置，而是注意力池和注意力窗口拼接后的相对位置，作者验证在这些改进下，模型可以生成高质量且无限长的文本序列。
深度解密天猫精灵对话系统一、序天猫精灵音箱是阿里巴巴人工智能实验室出品的智能音箱，在推出不久就迅速占领国内市场，将人工智能以开口即得的方式带入千家万户。对话智能是天猫精灵智能的重要体现，它一部分来自于强大的算法，一部分来自于阿里丰富的后台服务与内容，一部分来自于人工知识的累积。如何把上述能力合而为一，并实现工程落地与大规模的输出，就是对话引擎的使命。相信有不少同学对其充满了好奇，一堆问题等待...
图解BERT在学习完Transformer之后，我们来学习一下将Transformer模型结构发扬光大的一个经典模型：BERT。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3q9V8Olo-1629380895512)(./pictures/3-stru.png)]图：结构总览前言BERT在2018年出现。2018 年是机器学习模型处理文本（或者更准确地说，自然语
论文综述：Attention Is All You Need这篇论文主要介绍了一种新的机器翻译模型，该模型开创性的使用了很多全新的计算模式和模型结构。综合分析了现有的主流的nlp翻译模型的即基于CNN的可并行对其文本翻译和基于RNN的LSTM门控长短期记忆时序翻译模型，总结了两个模型的优缺点并在此基础上提出了基于自注意力机制的翻译模型transformer，transformer模型没有使用CN.
HanLP是由一系列模型与算法组成的工具包，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点；提供词法分析（中文分词、词性标注、命名实体识别）、句法分析、文本分类和情感分析等功能。参考了网上的好多资源写了此博文如果你的pytorch版本和GPU是对应的兼容版本，重要提示不要直接pip install pyhanlp 或者pip inst
如果没有torchtext时，使用pip安装时会有一个大坑。torchtext安装时会检查pytorch的版本，如果版本不兼容，它会卸载你的torch，然后安装一个GPU版本的兼容的torch，这个过程是自动的，没有什么提示，或者大部分人不会具体去看提示，这里会非常坑。
Codalab是一个用于复现深度学习研究的协作平台，由斯坦福大学和微软合作开发。其核心理念是在云端运行机器学习实验，像jupyter notebook一样在数字实验室中管理实验，同时可以发布实验的 worksheet 以便其他人可以复现实验结果。Colab官网展示的三个步骤为：上传文件：首先将代码和数据集文件上传至平台。进行实验：运行代码，进行训练或者测试。
Models of Metaphor in NLP笔记摘要隐喻自动处理主要分为隐喻识别和隐喻理解两个部分。这篇文章主要系统地总结了现有的隐喻模型，讨论了语料库中的隐喻标记和可用资源。简介之前隐喻自动处理最主要的贡献需要追溯到三十年前（Wilks, 1978; Lakoff and Johnson, 1980; Fass, 1991）并且主要是依靠特定任务的手工编码知识（task-s
一、贝叶斯定理引入1、朴素贝叶斯： 朴素贝叶斯中的朴素一词的来源就是假设各特征之间相互独立。这一假设使得朴素贝叶斯算法变得简单，但有时会牺牲一定的分类准确率。2、贝叶斯公式：3、换成分类任务的表达式 那么我们最终求的p(类别|特征)即可！就相当于完成了我们的任务。二、数据集介绍1、原始数据集2、测试数据集 为了减少任务量，测试数据集为自己在原始数据集上打乱后所得。三、文本分类步骤四、TF-I
NMT(Neural Machine Translation)基于神经网络的机器翻译模型效果越来越好，还记得大学时代Google翻译效果还是差强人意，近些年来使用NMT后已基本能满足非特殊需求了。目前NMT的主流模型是采用Seq2Seq + Attention架构，本文基于PyTorch实现一个小型的英文到中文的翻译系统。1、数据集数据集及全部代码下载链接：训练数据为14K左右的中英平行语料...
序列标注任务中的场景任务，中文分词和实体提取；重点分享中文分词的数据标注方法、NER实体提取的相关算法和实现方案。
中文分词，即 Chinese Word Segmentation，即将一个汉字序列进行切分，得到一个个单独的词。基于规则的分词方法这种方法又叫作机械分词方法、基于字典的分词方法，它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行匹配。若在词典中找到某个字符串，则匹配成功。该方法有三个要素，即分词词典、文本扫描顺序和匹配原则。文本的扫描顺序有正向扫描、逆向扫描和双向扫描...
seq2seq:LSTM+attention的生成式文本概要最近做的利用seq2seq模型的生成式文本概要，参考了这位大佬的源码：https://spaces.ac.cn/archives/5861/comment-page-1数据集准备及预处理我直接拿的新闻数据集的内容(content)和标题(title)，根据内容概括标题。一般想要达到比较能看的结果的话需要10w左右的数据集，跑50...
以上述代码为例，我们在定义自己深度学习模型时，会有训练参数、常规配置参数、验证参数等，所以我们可以分好几个dataclass类，使用上述代码去分配。终于，我们可以介绍HfArgumentParser了，这个用法主要常见于一些深度学习的代码，而且是在参数的定义中。该方法返回的是一个元祖，若你只需要返回一个，则应使用下述方法，将上述代码对应行数修改一下即可。是一个数据类，一般用于对数据的定义，他会默认
Keras是目前最受欢迎的深度学习库之一，它人工智能的产品化做出了巨大贡献。 它使用简单，只需几行代码即可构建强大的神经网络。 在这篇文章中，您将了解如何使用Keras构建神经网络，通过将用户评论分类(正面和负面)来做情感分析，我们将使用著名的imdb评论数据集。我们只需要将模型进行一些改进就可以应用于其他机器学习问题。请注意，我们不会详细介绍Keras或Deep Learning。 本文旨在..
从安装到验证全都有
大语言模型利用思维链提示生成中间推理链作为推断答案的基本原理，在复杂推理方面表现出令人印象深刻的性能。现有研究主要集中在语言形态上，文中提出了多模态coT，将语言和图像模态分为两个阶段的框架，分离理由生成和答案推理。通过这种方式，答案推理可以利用多模态信息生成更好的理由。Mulitimodal-CoT，在十亿个参数下的性能比LLM（chat-3.5）高出16个百分点，甚至超过了ScienceQA基
功能：输出两段文本的语义相似度工具：python2gensim:version = '3.4.0’清洗、分词词典构造、去数字、去停用词清洗，输入.txt，一条文本占一行，分词、加载分词词典去数字、停用词#!/usr/bin/python# -*- coding: utf-8 -*-"""@author:@contact:@time:@content:预处理"""import sys,jieba,t
本文对语言大模型，特别是自回归语言大模型的基础进行了简介，以支撑后续对大模型技术的深入研究与探讨。
这篇博客是对来自betheme.net网站的一篇博客的整理和扩充。检查了其中代码是否可用，链接是否真实，并对错误代码修改。部分代码已在博主博客中实现，并附传送链接。
bert-base-chinese 判断上下句。
本文主要根据《A Survey of Large Language Models》介绍 Adaption of LLMs（LLMs 适应性）章节
思维导图：17.1试将图17.1的例子进行潜在语义分析，并对结果进行观察。import numpy as npX = np.array([[2, 0, 0, 0],[0, 2, 0, 0],[0, 0, 1, 0],[0, 0, 2, 3],[0, 0, 0, 1],[1, 2, 2, 1]])U, Sigma, VT = np.linalg
果不其然，打出来的全是none……load_dotenv()虽然说明是自动检测，但我在云服务器里实验，发现检测不到给的example.env。然后发现好像没那么复杂，单纯可能是load_dotenv没找到环境，于是在constanst.py的这两行代码打了个print……一开始以为是环境的原因，毕竟他给的那个环境安起来很麻烦。
本质上是字符串匹配的方法，将一串文本中的文字片段和已有的词典进行匹配，如果匹配到，则此文字片段就作为一个分词结果。利用词典匹配和统计模型的方法，结合了基于词典的规则和基于统计的概率模型，以提高分词准确性和效率。1.基于词典的词汇切分方法（又称机械词汇切分）1）正向最大匹配法（从左到右的方向）；2）逆向最大匹配法（从右到左的方向）；3）最小切分（每一句中切出的词数最小）4.词典与统计相结合的词汇切分
之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等） 来作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态 ，然后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是 这也使得它不能够并行计算，模型效率十分低。有时我们还使用了CNN，虽然CNN能够并行计算，但是处理变长序列时不够灵活。为了克服以上问题，提出了Transform框架，该架构采用了
文本相似性模型总结
利用隐马尔可夫模型 (HMM) 完成了命名实体识别 (NER) 任务。
输入：语音/音频信号；输出：结构化文本。支持场景：实时字幕生成、语音输入法、智能助手交互（如 Siri、Alexa）。
nlp
——nlp
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
2048 AI社区
永洪数据分析社区
