再看pytorch-transformer的示例，里面涉及了分布式训练和预测，之前对此一无所知，学起来https://oldpan.me/archives/pytorch-to-use-multiple-gpus

package com.corpus;import java.io.*;import java.util.List;import edu.stanford.nlp.ling.HasWord;import edu.stanford.nlp.ling.Sentence;import edu.stanford.nlp.ling.TaggedWord;import edu.stanford.

RNN的训练和测试过程其实存在不统一的地方：训练时，每生成一个词时，所利用到的“前一个词”都是准确的；测试时，所有的词都是模型生成的，这就带来了训练和测试的不统一。Scheduled Sampling是指RNN训练时会随机使用模型真实输出来作为下一个时刻的输入，而不像原先那样只会使用期望输出（label）。http://www.bubuko.com/infodetail-2091495.htm

转载地址：http://blog.sina.com.cn/s/blog_5e16f1770100lp7u.html1.首先导入包：\usepackage[linesnumbered,boxed]{algorithm2e}2.然后正文中添加如下示例：\begin{algorithm}\caption{identifyRowContext}\KwIn{$r_i$ , $Backgrd(

(1)sequence_loss_by_example(logits, targets, weights)这个函数用于计算所有examples的加权交叉熵损失，logits参数是一个2D Tensor构成的列表对象，每一个2D Tensor的尺寸为[batch_size x num_decoder_symbols]，函数的返回值是一个1D float类型的Tensor，尺寸为batch_size

此处给出了几种不同的next_batch方法，该文章只是做出代码片段的解释，以备以后查看：def next_batch(self, batch_size, fake_data=False):"""Return the next `batch_size` examples from this data set."""if fake_data:fake_image

其实是最简单的bidirectional_dynamic_rnn做命名实体识别问题：搭的最基本的框架（tensorflow0.11版本）：class Bilstm_Model:def __init__(self, biconfig, embedId, embedding):self.biconfig = biconfigself.embedId =

import tensorflow as tfwith tf.name_scope("hello") as name_scope:arr1 = tf.get_variable("arr1", shape=[2,10],dtype=tf.float32)print (name_scope)print (arr1.name)print ("scope_

import tensorflow as tfsequence = [2,-4, 7]a = tf.abs(sequence)print(a)这种方式只能打印出 a 的 shape，不能打印出 a 的值import tensorflow as tfsequence = [2,-4, 7]a = tf.abs(sequence)with tf.Session() as sess:

正看这方面的资料，网上资源多多，而且质量很高，总结放在此处：Implementing Bi-directional LSTM-CRF Networkhttp://stackoverflow.com/questions/33078423/implementing-bi-directional-lstm-crf-networkCRF和LSTM 模型在序列标注上的优劣？https://www.zh