python 编辑距离_最小编辑距离的两种python写法
最近项目需要做近似文本的对比,看到最小编辑距离能够一定程度来区分文本相似度,下面是两段代码:def normal_leven(str1, str2):len_str1 = len(str1) + 1len_str2 = len(str2) + 1# 创建矩阵matrix = [0 for n in range(len_str1 * len_str2)]# 矩阵的第一行for i in range(
最近项目需要做近似文本的对比,看到最小编辑距离能够一定程度来区分文本相似度,下面是两段代码:
def normal_leven(str1, str2):
len_str1 = len(str1) + 1
len_str2 = len(str2) + 1
# 创建矩阵
matrix = [0 for n in range(len_str1 * len_str2)]
# 矩阵的第一行
for i in range(len_str1):
matrix[i] = i
# 矩阵的第一列
for j in range(0, len(matrix), len_str1):
if j % len_str1 == 0:
matrix[j] = j // len_str1
# 根据状态转移方程逐步得到编辑距离
for i in range(1, len_str1):
for j in range(1, len_str2):
if str1[i - 1] == str2[j - 1]:
cost = 0
else:
cost = 1
matrix[j * len_str1 + i] = min(matrix[(j - 1) * len_str1 + i] + 1,
matrix[j * len_str1 + (i - 1)] + 1,
matrix[(j - 1) * len_str1 + (i - 1)] + cost)
return matrix[-1] # 返回矩阵的最后一个值,也就是编辑距离
str1='谁是谁的谁的谁'
str2='你爱我们谁的是'
a=normal_leven(str1, str2)
print(a)
另外一种简洁写法:
def edit(str1, str2):
matrix = [[i + j for j in range(len(str2) + 1)] for i in range(len(str1) + 1)]
for i in range(1, len(str1) + 1):
for j in range(1, len(str2) + 1):
if str1[i - 1] == str2[j - 1]:
d = 0
else:
d = 1
matrix[i][j] = min(matrix[i - 1][j] + 1, matrix[i][j - 1] + 1, matrix[i - 1][j - 1] + d)
return matrix[len(str1)][len(str2)]
a=edit('谁是谁的谁的谁','你爱我们谁的是')
print(a)
3、还有这篇博客写的代码也不错,地址如下:
http://qinxuye.me/article/get-edit-distance-by-dynamic-programming/
PS:最近在做word2vec和余弦相似度以及最小编辑距离的联合判别近义词问题,之前把最小编辑距离相似度定义为 edit_distance_similarity=1 - edit_distance / max(len(a), len(b)) 测试一直没有问题,直到发现python有自带的最小编辑距离包的时候测试一下才发现了问题。
首先看一下例子: import Levenshtein
str1 = '我们都是好孩子'
str2 = '天真的孩子都好'
edit_distance_similarity = 1 - a / max(len(str1), len(str2))#本公式计算出来的相似度
bb = Levenshtein.ratio(str1, str2)# Levenshtein计算出来的相似度 结果输出: edit_distance_similarity: 0.0
bb : 0.2857142857142857
看到了了吧,这里居然我用edit_distance_similarity 计算出来的相似度是0。而自带的软件包是0.28,从字面上我们也可以看到这两个句子是有一些相似的。
其实二者计算出来的distance是一致的,只是最后归结到近似度计算这是不同的。
所以放弃原来的代码,还是老老实实用python自带的包吧,因为他们想的肯定要比你全面,经过了很多次测试才提交的。
我们再来仔细看一下ratio的好处:
Levenshtein.ratio(str1, str2)
计算莱文斯坦比。计算公式r = (sum - ldist) / sum, 其中sum是指str1 和 str2 字串的长度总和,ldist是 类编辑距离
注意 :这里的类编辑距离不是所说的编辑距离,在编辑距离中三种操作中每个操作+1,而在此处,删除、插入依然+1,但是替换+2
这样设计的目的:ratio('a', 'c'),sum=2, 按2中计算为(2-1)/2 = 0.5,’a','c'没有重合,显然不合算,但是替换操作+2,就可以解决这个问题。
更多推荐
所有评论(0)