属性抽取调研——工业界目录1. 任务1.1. 背景1.2. 任务定义1.3. 数据集1.4. 评测标准2. 方法总结2.1. 基于无监督的属性抽取方法2.1.1. 基于规则的槽填充算法2.1.2.基于聚类的属性抽取方法2.2. 基于依存关系的半监督的槽填充方法2.3. 基于深度学习的序列标注方法2.4.基于元模式的属性抽取方法...

对transformers库不常用记录，方便回溯。知识点1. fast的含义比如BertTokenizerFast,use_fast, 示例如下：1AutoTokenizer.from_pretrained('hfl/chinese-electra-180g-small-discriminator', use_fast=True)它的含义是使用rust加速速度。...

关于transformer的一些基础知识，之前在看李宏毅视频的时候总结了一些，可以看here，到写此文章时，也基本忘的差不多了，故也不深究，讲两个关于transformer的基本应用，来方便理解与应用。序列标注参考文件transformer_postag.py.1. 加载数据12#加载数据train_data, test_data, vocab, pos_voc...

这里以BertForMaskedLM为例，记录下BertModel的网络结构和一些思考，cls那部分网络结构不涉及，即BertOnlyMLMHead那部分。12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849BertForMaskedLM(...

介绍本篇文章主要讲基于bert预训练模型的一些例子，希望可以从不同角度理解与应用基于bert的一些应用。nlp发展了这么多年，经历了规则，统计，模型等阶段，目前预训练模型基本算是一统天下了。大公司有更多资源，可以联合一些科研机构与组织搞一些事情，比如微软和nvidia利用更多的资源来探测模型的边界。这个就很有意思，思考一个问题，什么叫意识？什么情况下产生了意识？...

对transformers库不常用记录，方便回溯。知识点1. fast的含义比如BertTokenizerFast,use_fast, 示例如下：1AutoTokenizer.from_pretrained('hfl/chinese-electra-180g-small-discriminator', use_fast=True)它的含义是使用rust加速速度。...

过去几年，大模型（LLM）几乎成了AI的代名词，从ChatGPT 到 Qwen、Claude，再到火出圈的DeepSeek，每一个新模型的发布都伴随着参数量的飞涨，百亿、千亿、万亿模型层出不穷。但很多开发者会有一个直观感受：“模型越来越大了，参数越来越多了，但为什么用起来仍然感觉它？能对对联，能写诗，但是对于一个简单的“9.11和9.8哪个大”都搞错。能上知天文，下知地理，但是仍可能会前言不搭后语

在之前讲Word2Vec、Bert到ChatGPT，我们发现大模型虽然对文字理解表现不错，但是似乎无法理解图片。例如：“为什么 ChatGPT 看不懂截图？“为什么你上传的发票，Qwen3模型读不出金额？“Deepseek能写论文，但不会读一张图？为什么会这样？从根本来讲，大模型最初是为了“读文字”而设计的，而不是“看世界”。但现实世界远不止文本。发票、表格、网页、商品图片、甚至手写体文字，。如果

对transformers库不常用记录，方便回溯。知识点1. fast的含义比如BertTokenizerFast,use_fast, 示例如下：1AutoTokenizer.from_pretrained('hfl/chinese-electra-180g-small-discriminator', use_fast=True)它的含义是使用rust加速速度。...

关系抽取调研——学术界目录1. 任务1.1. 任务定义1.2. 数据集1.3. 评测标准1.4. SOTA2. 方法总结2.1. 基于模式挖掘的方法2.1.1. 基于模板匹配的方法2.1.2. 基于依存句法的方法2.2. 监督学习2.2.1. 机器学习2.2.1.1. 基于特征向量的方法2.2.1.2. 基于核函数的方法...