目录

一、word2vec原理

二、word2vec代码实现

(1)获取文本语料

(2)载入数据,训练并保存模型

①  # 输出日志信息

②  # 将语料保存在sentence中

③  # 生成词向量空间模型

④  # 保存模型

(3)加载模型,实现功能

(4)增量训练


最近要用到文本词向量,借此机会重温一下word2vec。本文会讲解word2vec的原理和代码实现。

本文提供的github代码链接:https://github.com/yip522364642/word2vec-gensim

在NLP中,要让计算机读懂文本语言,首先要对文本进行编码。常见的编码如独热编码(one-hot encoding),词袋模型(BOW,bag of words),词向量模型(word embedding)。而word2vec就是词向量模型中的一种,它是google在2013年发布的工具。

 

一、word2vec原理

word2vec工具主要包含两个模型:连续词袋模型(CBOW,continuous bag of words)和跳字模型(skip-gram)。如下图所示,左边蓝色部分代表CBOW模型,右边绿色部分代表Skip-gram模型。它们两者的区别是,CBOW是根据上下文去预测目标词来训练得到词向量,如图是根据W(t-2),W(t-1),W(t+1),W(t+2)这四个词来预测W(t);而Skip-gram是根据目标词去预测周围词来训练得到词向量,如图是根据W(t)去预测W(t-2),W(t-1),W(t+1),W(t+2)。根据经验,CBOW用于小型语料库比较适合,而Skip-gram在大型的语料上表现得比较好。

那具体是如何实现的呢?下文以CBOW模型为例,介绍各个步骤实现细节(具体公式先省略,有空再补上)

以上图为例,

① 输入层(Input layer):目标单词上下文的单词(这里显示三个),每个单词用ont-hot编码表示,为[1 * V]大小的矩阵,V表示词汇大小;

② 所有的ont-hot矩阵乘以输入权重矩阵W,W是[V * N]大小的共享矩阵,N是指输出的词的向量维数;

③ 将相乘得到的向量 ([1 * V] 的ont-hot矩阵乘上[V * N]的共享矩阵W) 相加,然后求平均作为隐层向量h, 大小为[1 * N];

④ 将隐层向量h乘以输出权重矩阵W',W'是[N * V]大小的共享矩阵;

⑤ 相乘得到向量y,大小为[1 * V],然后利用softmax激活函数处理向量y,得到V-dim概率分布;

⑥ 由于输入的是ont-hot编码,即每个维度都代表着一个单词,那么V-dim概率分布中,概率最大的index所指代的那个单词为预测出的中间词。

⑦ 将结果与真实标签的ont-hot做比较,误差越小越好,这里的误差函数,即loss function一般选交叉熵代价函数。

以上为CBOW生成词向量的全过程。如果我们只是想提取每个单词的向量,那么只需要得到向量y就可以了,但训练过程中要去做预测并计算误差,去求得输入权重矩阵W和输出权重矩阵W'。

 

二、word2vec代码实现

下文,我将介绍采用python的gensim包实现word2vec,并介绍相关函数功能。

(1)获取文本语料

本文采用网上的文本语料,语料大小将近100M,下载地址为http://mattmahoney.net/dc/text8.zip

下载之后,可以查看语料内容(看语料主要是为了清楚数据的格式是怎样的,方便后面模型的读取)

'''
1 获取文本语料并查看
'''
with open('text8', 'r', encoding='utf-8') as file:
    for line in file.readlines():
        print(line)

我们发现语料已经按空格分好词,并且去除了所有的标点符号,也没有换行符,如下所示为输出截图

 

(2)载入数据,训练并保存模型

'''
2 载入数据,训练并保存模型
'''
from gensim.models import word2vec
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)  # 输出日志信息
sentences = word2vec.Text8Corpus('text8')  # 将语料保存在sentence中
model = word2vec.Word2Vec(sentences, sg=1, size=100,  window=5,  min_count=5,  negative=3, sample=0.001, hs=1, workers=4)  # 生成词向量空间模型
model.save('text8_word2vec.model')  # 保存模型

接下来逐个讲解每个代码的意思(非常重要!!!)

①  # 输出日志信息

logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)

这一行表示程序会输出日志信息,形式(format)为日期(asctime):信息级别(levelname):日志信息(message),信息级别为正常信息(logging.INFO)。当然,logging.basicConfig函数里面可以添加各个参数,这里只添加了format参数,你也可以根据需要增加参数,建议只加自己想知道的东西,具体参考如下:

logging.basicConfig函数各参数:
filename: 指定日志文件名
filemode: 和file函数意义相同,指定日志文件的打开模式,'w'或'a'
format: 指定输出的格式和内容,format可以输出很多有用信息,如上例所示:
 %(levelno)s: 打印日志级别的数值
 %(levelname)s: 打印日志级别名称
 %(pathname)s: 打印当前执行程序的路径,其实就是sys.argv[0]
 %(filename)s: 打印当前执行程序名
 %(funcName)s: 打印日志的当前函数
 %(lineno)d: 打印日志的当前行号
 %(asctime)s: 打印日志的时间
 %(thread)d: 打印线程ID
 %(threadName)s: 打印线程名称
 %(process)d: 打印进程ID
 %(message)s: 打印日志信息
datefmt: 指定时间格式,同time.strftime()
level: 设置日志级别,默认为logging.WARNING
stream: 指定将日志的输出流,可以指定输出到sys.stderr,sys.stdout或者文件,默认输出到sys.stderr,当stream和filename同时指定时,stream被忽略

logging打印信息函数:

logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')

输出结果截图:

 

②  # 将语料保存在sentence中

sentences = word2vec.Text8Corpus('text8')

这里采用的‘text8‘语料是已经按空格分好词,并且去除了所有的标点符号,也没有换行符,所以不需要任何的预处理。

对于大规模数据集,sentences可以采用word2vec.BrownCorpus(),word2vec.Text8Corpus()或word2vec.LineSentence()来读取;对于小规模数据集,sentences可以是一个List的形式,如sentences=[["I", "love", "China", "very", "much"], ["China", "is", "a", "strong", "country"]]。

 

③  # 生成词向量空间模型

model = word2vec.Word2Vec(sentences, sg=1, size=100,  window=5,  min_count=5,  negative=3, sample=0.001, hs=1, workers=4)

此行通过设置各个参数,来配置word2vec模型,具体参数的介绍如下:

'''
1.sentences:可以是一个List,对于大语料集,建议使用BrownCorpus,Text8Corpus或·ineSentence构建。
2.sg: 用于设置训练算法,默认为0,对应CBOW算法;sg=1则采用skip-gram算法。
3.size:是指输出的词的向量维数,默认为100。大的size需要更多的训练数据,但是效果会更好. 推荐值为几十到几百。
4.window:为训练的窗口大小,8表示每个词考虑前8个词与后8个词(实际代码中还有一个随机选窗口的过程,窗口大小<=5),默认值为5。
5.alpha: 是学习速率
6.seed:用于随机数发生器。与初始化词向量有关。
7.min_count: 可以对字典做截断. 词频少于min_count次数的单词会被丢弃掉, 默认值为5。
8.max_vocab_size: 设置词向量构建期间的RAM限制。如果所有独立单词个数超过这个,则就消除掉其中最不频繁的一个。每一千万个单词需要大约1GB的RAM。设置成None则没有限制。
9.sample: 表示 采样的阈值,如果一个词在训练样本中出现的频率越大,那么就越会被采样。默认为1e-3,范围是(0,1e-5)
10.workers:参数控制训练的并行数。
11.hs: 是否使用HS方法,0表示不使用,1表示使用 。默认为0
12.negative: 如果>0,则会采用negativesamp·ing,用于设置多少个noise words
13.cbow_mean: 如果为0,则采用上下文词向量的和,如果为1(default)则采用均值。只有使用CBOW的时候才起作用。
14.hashfxn: hash函数来初始化权重。默认使用python的hash函数
15.iter: 迭代次数,默认为5。
16.trim_rule: 用于设置词汇表的整理规则,指定那些单词要留下,哪些要被删除。可以设置为None(min_count会被使用)或者一个接受()并返回RU·E_DISCARD,uti·s.RU·E_KEEP或者uti·s.RU·E_DEFAU·T的函数。
17.sorted_vocab: 如果为1(defau·t),则在分配word index 的时候会先对单词基于频率降序排序。
18.batch_words:每一批的传递给线程的单词的数量,默认为10000
'''

④  # 保存模型

model.save('text8_word2vec.model')  

将模型保存起来,以后再使用的时候就不用重新训练,直接加载训练好的模型使用就可以了。

下面会介绍加载模型后,直接使用word2vec来实现各个功能。

 

(3)加载模型,实现功能

'''
3 加载模型,实现各个功能
'''
# 加载模型
model = word2vec.Word2Vec.load('text8_word2vec.model')

# 计算两个词的相似度/相关程度
print("计算两个词的相似度/相关程度")
word1 = 'man'
word2 = 'woman'
result1 = model.similarity(word1, word2)
print(word1 + "和" + word2 + "的相似度为:", result1)
print("\n================================")

# 计算某个词的相关词列表
print("计算某个词的相关词列表")
word = 'bad'
result2 = model.most_similar(word, topn=10)  # 10个最相关的
print("和" + word + "最相关的词有:")
for item in result2:
    print(item[0], item[1])
print("\n================================")

# 寻找对应关系
print("寻找对应关系")
print(' "boy" is to "father" as "girl" is to ...? ')
result3 = model.most_similar(['girl', 'father'], ['boy'], topn=3)
for item in result3:
    print(item[0], item[1])
print("\n")

more_examples = ["she her he", "small smaller bad", "going went being"]
for example in more_examples:
    a, b, x = example.split()
    predicted = model.most_similar([x, b], [a])[0][0]
    print("'%s' is to '%s' as '%s' is to '%s'" % (a, b, x, predicted))
print("\n================================")

# 寻找不合群的词
print("寻找不合群的词")
result4 = model.doesnt_match("flower grass pig tree".split())
print("不合群的词:", result4)
print("\n================================")

# 查看词向量(只在model中保留中的词)
print("查看词向量(只在model中保留中的词)")
word = 'girl'
print(word, model[word])
# for word in model.wv.vocab.keys():  # 查看所有单词
#     print(word, model[word])

 

(4)增量训练

在使用词向量时,如果出现了在训练时未出现的词(未登陆词),可采用增量训练的方法,训练未登陆词以得到其词向量

'''
4 增量训练
'''
model = word2vec.Word2Vec.load('text8_word2vec.model')
more_sentences = [['Advanced', 'users', 'can', 'load', 'a', 'model', 'and', 'continue', 'training', 'it', 'with', 'more', 'sentences']]
model.build_vocab(more_sentences, update=True)
model.train(more_sentences, total_examples=model.corpus_count, epochs=model.iter)
model.save('text8_word2vec.model')

 

完整代码如下,github为:https://github.com/yip522364642/word2vec-gensim

# -*- coding: utf-8 -*-
# @Time : 2019/11/13 14:55
# @FileName: word2vec-gensim.py
# @Software: PyCharm
# @Author : yip
# @Email : 522364642@qq.com
# @Blog : https://blog.csdn.net/qq_30189255
# @Github : https://github.com/yip522364642


import warnings

warnings.filterwarnings("ignore")

'''
1 获取文本语料并查看
'''
# with open('text8', 'r', encoding='utf-8') as file:
#     for line in file.readlines():
#         print(line)

'''
2 载入数据,训练并保存模型
'''
from gensim.models import word2vec
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)  # 输出日志信息
sentences = word2vec.Text8Corpus('text8')  # 将语料保存在sentence中
model = word2vec.Word2Vec(sentences, sg=1, size=100,  window=5,  min_count=5,  negative=3, sample=0.001, hs=1, workers=4)  # 生成词向量空间模型
model.save('text8_word2vec.model')  # 保存模型


'''
3 加载模型,实现各个功能
'''
# 加载模型
model = word2vec.Word2Vec.load('text8_word2vec.model')

# 计算两个词的相似度/相关程度
print("计算两个词的相似度/相关程度")
word1 = 'man'
word2 = 'woman'
result1 = model.similarity(word1, word2)
print(word1 + "和" + word2 + "的相似度为:", result1)
print("\n================================")

# 计算某个词的相关词列表
print("计算某个词的相关词列表")
word = 'bad'
result2 = model.most_similar(word, topn=10)  # 10个最相关的
print("和" + word + "最相关的词有:")
for item in result2:
    print(item[0], item[1])
print("\n================================")

# 寻找对应关系
print("寻找对应关系")
print(' "boy" is to "father" as "girl" is to ...? ')
result3 = model.most_similar(['girl', 'father'], ['boy'], topn=3)
for item in result3:
    print(item[0], item[1])
print("\n")

more_examples = ["she her he", "small smaller bad", "going went being"]
for example in more_examples:
    a, b, x = example.split()
    predicted = model.most_similar([x, b], [a])[0][0]
    print("'%s' is to '%s' as '%s' is to '%s'" % (a, b, x, predicted))
print("\n================================")

# 寻找不合群的词
print("寻找不合群的词")
result4 = model.doesnt_match("flower grass pig tree".split())
print("不合群的词:", result4)
print("\n================================")

# 查看词向量(只在model中保留中的词)
print("查看词向量(只在model中保留中的词)")
word = 'girl'
print(word, model[word])
# for word in model.wv.vocab.keys():  # 查看所有单词
#     print(word, model[word])


'''
4 增量训练
'''
model = word2vec.Word2Vec.load('text8_word2vec.model')
more_sentences = [['Advanced', 'users', 'can', 'load', 'a', 'model', 'and', 'continue', 'training', 'it', 'with', 'more', 'sentences']]
model.build_vocab(more_sentences, update=True)
model.train(more_sentences, total_examples=model.corpus_count, epochs=model.iter)
model.save('text8_word2vec.model')

 

以上介绍了word2vec原理代码实现。

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐