logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

SimKGC: Simple Contrastive Knowledge Graph Completion with Pre-trained Language Models

目前,比较流行的知识图谱补全模型,通常喜欢使用结构化的信息即(h,r,t)的这种形式进行知识图谱补全。但是这种方式其实可以使用的特征有限,增加额外信息-实体描述(或者叫文本信息,我习惯性交实体描述,差不多一个意思,不要纠结),可以提高模型的表达或者特征。目前在WN18RR数据集上评分最高的模型,就基于实体描述信息,为什么只提WN18RR,因为在FB15k-237上,效果不咋地,后面细说。

文章图片
#知识图谱#语言模型#人工智能
如何修改大模型的位置编码 --以LLama为例

最近在看RoPE相关内容,一些方法通过简单修改位置编码就可以无需训练支持更长的文本内容。由于一些模型,已经训练好了,但是怎么修改已经训练好的模型位置编码。查了以下相关代码,记录一下。原理这里就不细讲了,贴几个相关博客。

文章图片
SimKGC: Simple Contrastive Knowledge Graph Completion with Pre-trained Language Models

目前,比较流行的知识图谱补全模型,通常喜欢使用结构化的信息即(h,r,t)的这种形式进行知识图谱补全。但是这种方式其实可以使用的特征有限,增加额外信息-实体描述(或者叫文本信息,我习惯性交实体描述,差不多一个意思,不要纠结),可以提高模型的表达或者特征。目前在WN18RR数据集上评分最高的模型,就基于实体描述信息,为什么只提WN18RR,因为在FB15k-237上,效果不咋地,后面细说。

文章图片
#知识图谱#语言模型#人工智能
如何修改大模型的位置编码 --以LLama为例

最近在看RoPE相关内容,一些方法通过简单修改位置编码就可以无需训练支持更长的文本内容。由于一些模型,已经训练好了,但是怎么修改已经训练好的模型位置编码。查了以下相关代码,记录一下。原理这里就不细讲了,贴几个相关博客。

文章图片
SimplE:SimplE Embedding for Link Prediction in Knowledge Graphs+代码

文章目录1 介绍1.1 知识图谱1.2 知识图谱补全方法1.3知识图谱补全(Knowledge Graph Completion,KGC)1.4 关系分类2 模型2.1 双线性模型2.2 核心公式2.3 负采样2.4 损失函数2.5 评价MRRMRHITS@n3 [代码](https://github.com/baharefatemi/SimplE)3.1 数据处理模块dataset.py3.2

#知识图谱#人工智能#深度学习
CP-KGC: Constrained-Prompt Knowledge Graph Completion with Large Language Models

知识图谱补全(Knowledge graph completion, KGC)的目的是利用已有的知识来预测知识图谱中的缺失链接(即确实的实体和关系)。基于文本的方法,如SimKGC,已经优于图嵌入方法(即结构嵌入,只利用三元租的信息),展示了归纳KGC的前景。补充一下,其实只是再WN18RR数据集上比较好,在FB5k-上就比较拉。然而,基于文本的方法的有效性取决于实体文本描述的质量。在本文中,我们

文章图片
#知识图谱#语言模型
ConvE:Convolutional 2D Knowledge Graph Embeddings

论文:Convolutional 2D Knowledge Graph Embeddings1 介绍1.1 提出原因之前提出的模型如disMult,Trans系列模型,成为浅层模型,虽然比较简单,参数较少、训练模型速度较快,但是这些模型相比于深的模型,更少能够抓到复杂的信息。因此,提出模型ConvE模型,利用卷积的方式进行知识图谱补全,能够适用于更加复杂的图。在浅层模型中增加特征数量的唯一方法,就

#知识图谱#人工智能#深度学习
KoPA: Making Large Language Models Perform Better in Knowledge Graph Completion

本来这个论文用来组会讲的,但是冲突了,没怎么讲,记录一下供以后学习。

文章图片
#语言模型#知识图谱#人工智能
如何修改大模型的位置编码 --以LLama为例

最近在看RoPE相关内容,一些方法通过简单修改位置编码就可以无需训练支持更长的文本内容。由于一些模型,已经训练好了,但是怎么修改已经训练好的模型位置编码。查了以下相关代码,记录一下。原理这里就不细讲了,贴几个相关博客。

文章图片
CP-KGC: Constrained-Prompt Knowledge Graph Completion with Large Language Models

知识图谱补全(Knowledge graph completion, KGC)的目的是利用已有的知识来预测知识图谱中的缺失链接(即确实的实体和关系)。基于文本的方法,如SimKGC,已经优于图嵌入方法(即结构嵌入,只利用三元租的信息),展示了归纳KGC的前景。补充一下,其实只是再WN18RR数据集上比较好,在FB5k-上就比较拉。然而,基于文本的方法的有效性取决于实体文本描述的质量。在本文中,我们

文章图片
#知识图谱#语言模型
    共 15 条
  • 1
  • 2
  • 请选择