前言bert作为当下最火的NLP模型（或者说该类型的模型，包括AlBert，XLNet等）。对于志在NLP的同学，有必要对其原理和代码都进行比较深入的了解。废话不多说，进入正题。PS：1.这里的代码有些参数传入是阉割过的，而且代码版本也是比较老版的，但更容易理解，更详细的还是参考：https://huggingface.co/transformers/2.关键的注解都在代码的注释里。主要代码1.主

前言：本文的代码主要参考github上的一篇开源的代码“Basic word2vec example”,但是几乎只提取了其中网络搭建的必要部分，并且为了方便自己作为初学者的理解进行了一些语言上简化(并没有简化模型)，同时加上了一些自己的批注。主要目的是学习熟悉tensorflow的使用，同时加深对word2vec的理解，因此在此进行记录。正文：第一步:下载及读取数据读取的数...

前言系统环境：windows10这篇文章主要记录 自己学习neo4j环境部署及初步入门使用。主要参考的链接如下：魔兽世界简易知识图谱正文一.neo4j安装及配置jdk15 + neo4j 4.2.3+neosemantics 4.2.0.11.jdk15（neo4j的依赖环境）(安装前确保自己计算机上面没有jdk)下载地址：http://jdk.java.net/java-se-ri/15下载解压

前言问答系统是NLP在业界最为重要的落地场景之一，但由于其全链路比较复杂，学习的时候难以入手。这是一个基础的图谱构建和问答系统的项目，为大家学习问答系统提供一个思路。ps:之前断断续续写了知识图谱和问答系统的构建，干脆整合成一个完整的github项目，并对知识图谱进行系统性介绍。

OpenAI在放出GPT2后，并没有引起业界太大的影响和关注，究其原因，并不是zero-shot这种想法不够吸引人，而是GPT2表现出来的效果依然差强人意，仍然属于“人工智障”的阶段，然而OpenAI认为他们的方向没有问题，不在特定领域上做太多的微调，甚至不做微调（这样就能避免1.人工标注数据和2.重新训练模型）才是大规模语言模型的未来，因此在不久之后他们又提出了GPT-3，这也就是chatGPT