logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

word2vec简单入门使用、总结

这也是为什么ELMO,GPT,bert问世之后word2vec就不再有以前的光环了,因为ELMO,GPT,bert都是用的动态词向量表示,可以很好的表示上下文语义。word2vec最大的缺陷:由于它是静态词向量表示导致不能表示一词多义的情况,举个例子“苹果”一词,在果蔬的句子中表示的就是水果的含义,Skip-Gram:给定一个词,预测其周围的上下文词汇,侧重于词汇的扩散语义。但是word2vec的

文章图片
#word2vec#人工智能#自然语言处理
DFA算法过滤敏感词(直拿直用)

output = dfa.outputNoSensitiveness('C:\job\AI数据集平台工具\数据\\fliter_sensitiveness.txt', later_filter)data = ['flink', 'spark', 'hive', 'FLINK', 'SPARK', 'HIVE', '实时', '离线']# dfa.parse('C:\job\AI数据集平台工具\数据

文章图片
#算法#python
到底了