数据集使用MovieLens数据集import pandas as pdimport numpy as npheader = ['user_id', 'item_id', 'rating', 'timestamp']dataset = pd.read_csv('../data/u.data',sep='\t',names=header)#计算唯一用户和电影的数量# unique对...

MongodbMongodb的安装实验环境：ubuntu16.04安装：suso apt-get install mongodb查看版本：mongo -version启动和关闭mongodbservice mongodb startservice mongodb stopshell命令使用mongodb:mongoSpark-MongoDBM

#_*_coding:utf-8_*_import osimport codecsimport stringfrom nltk.corpus import stopwordsimport snowballstemmerimport refrom itertools import chainfrom gensim import modelsimport torchfrom tor...

import torchimport torch.nn as nnfrom torch.autograd import Variablernn = nn.LSTM(10,20,2)#构建网络模型---输入矩阵特征数input_size、输出矩阵特征数hidden_size、层数num_layers'''input of shape (seq_len, batch, input_si...

在开发[Spark Streaming 读取Kafka数据写入HBASE]一套流程中，遇到了很多关于Serializable的问题：1、kafka是一种C-S架构，producer产生的消息经过序列化后才能在网络上传播2、Spark的transform序列化3、在将DStream数据写入HBASE时，写入的操作时，需要在foreach算子中访问外部的HTable、Connection等...

经过2天的挣扎，终于解决了这个问题。期间也遇到了其他问题，解决办法是spark-submit中设置相应的jar(加了好几个)。这一问题是由于kafka的版本不对，我的环境里Scala的版本是2.11.1,但是我安装的是kafka_2.12-1.1.0.tgz，对应Scala 2.12,更换了kafka的版本后完美解决！！！！！细节很重要！！！！最后附上spark-submit提交语句，...

不解压zip文件，直接读取zip包内的文件夹以及文件内容

不解压zip文件，直接读取zip包内的文件夹以及文件内容

在深度学习模型中，Embedding层在代码层面上的意义是：一个保存了固定字典和大小的简单查找表。这个模块常用来保存词嵌入和用下标检索它们。模块的输入是一个下标的列表，输出是对应的词嵌入。当输入是一个batch时，则这个输入矩阵是一个N维矩阵([batch_size,Seq_len]),输出矩阵([batch_size,Seq_len,embed_size])import torchf...

前言：给Ubuntu安装NVIDIA驱动+cuda+cudnn，网上教程很多，但问题都比较严重，试了3遍都不成功。而且强迫症如我，不喜欢电脑里有多余残留的东西。这时候想起docker了，毕业前还玩过一段时间，所以就开始尝试了(虽然也有不少坑)。整个流程主要分几步：安装NVIDIA驱动安装docker安装nvidia-dockerpull 合适的pytorch image安装noteb...