import tensorflow as tfimport os.pathfrom tensorflow.python.platform import gfilefrom google.protobuf import text_formatFLAGS = tf.app.flags.FLAGs#Input Graph model file locationtf.app

link: http://www.alglib.net/ALGLIB 是一个跨平台的数值分析和数据处理的函数库，支持多种编程语言（c++, c#, pascal, VBA）和多种操作系统（Windows, Linux, Solaris）。ALGLIB包含以下特点：（1）线性代数（包括矩阵分析）（2）插值（3）最优化理论（4）快速傅里叶变换（5）数值积分（6）方程

        Bert Transfromer结构中使用了这个激活函数---gelu（Gaussian error linear units，高斯误差线性单元），Gelu在论文中已经被验证，是一种高性能的神经网络激活函数，因为GELU的非线性变化是一种符合预期的随机正则变换方式（这句话，说实话，我翻译自原论文，具体怎么理解呢？我自己是如下理解的）。激活函数的作用：给网络模型加入非线性因子，这..