logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

用通俗易懂的大白话讲解Map/Reduce原理

Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper,Pig,Chukwa,Hive,Hbase,Mahout,flume等.这里详细分解这里面的概念让大家通过这篇文章了解到底是什么hadoop:

Ubuntu16.04+opencv3.3.0的安装配置说明

系统环境: Linux Ubuntu 16.04 [GCC 5.4.0 20160609] on linux2之前的教程中我们已经安装了做机器学习需要使用的框架TensorFlow,笔者本科阶段的专业是信息处理,主攻机器视觉方向。那么谈到机器视觉,最常见的框架就是opencv了。 OpenCV是一个专业的计算机视觉库,其中包括了许多计算机视觉中十分重要的内容。在samples中

Mac系统下载安装sublime3详细过程

不管是Linux操作系统还是mac操作系统,sublime都是程序员们钟爱的IDE。下面总结一下自己在Mac安装sublime的过程。现在可用sublime3,下面我也以sublime3的下载安装过程为例。首先需要下载sublime安装包,下载链接 http://www.sublimetext.com/3,链接进去后界面如下所示,点击红框中链接即可下载安装包,将安装包保存到电脑相应位置即可...

tensorflow-网络层-输入层input_layer

tf.feature_column.input_layertensorflow中,如果已经聚集了一大堆特征,如何将特征转换成模型可以直接输入的数据,可以通过tf.feature_column.input_layer将数据输入进神经网络。通常在tensorflow中,训练数据中的单条Example通常表示成FeatureColumn,而在模型的第一层中,面向列的数据通常转换为tensor。tf...

linux crontab调度python文件报错:ModuleNotFoundError: No module named 'pandas'

环境:centOS7,anaconda3预测python脚本写好以后,准备用脚本部署调度。但是python文件 在linux本地直接python XX.py可以直接运行,放在crontab中调度一直没有成功。首先要确定crontab中调度的时候回,无论是脚本还是python,所有的路径注意写绝对路径。否则crontab默认的路径下会找不到文件。python脚本执行的问题主要是解释器的...

解决Ubuntu 16.04下Sublime Text 3无法输入中文的问题

前言sublime很好用,但是ubuntu下不能输入中文,这是一个很大的问题。不知道为什么开发着一直也不解决,好在还是有高手在,总能找到方法。网上方法很多,但是也很乱,现在我将自己的经验总结一下。首先,我参考了好几篇文章,都是蛮不错的,先列出来:sublime-text-imfix:首先推荐这个方法,最简单,但是在我的系统上有些问题。可用这个的强烈推荐用这个完美解决 Linux 下

tensorflow中解析Example数据 tf.parse_example

1.先认识Example数据格式1条Example数据:features {feature { key: "age" value { int64_list { value: [ 0 ] } } }feature { key: "gender" value { bytes_list { value: [ "f" ] } } }}2条Example数据:[f...

kafka topic consumer 消费非常大的消息

有业务上推送到kafka的json串非常大,json文件达到了6m,差不多36万行,内部嵌套四层,需要我们从kafka中接收数据并进行解析。在测试过程中,需要自己将该json串生产到测试的topic,发现这么大的字符串,没有办法从控制台那里粘贴上去。此处我们是用java写个生产者,读取文件然后发送值topic。然而不报错,也消费不到。这种情况下,需要配置kafka相关的一些参数,以下相关的参...

GitHub的Fork操作介绍

现在有这样一种情形:有一个叫做Joe的程序猿写了一个游戏程序,而你可能要去改进它。并且Joe将他的代码放在了GitHub仓库上。下面是你要做的事情fork并且更新GitHub仓库的图表演示Fork他的仓库:这是GitHub操作,这个操作会复制Joe的仓库(包括文件,提交历史,issues,和其余一些东西)。复制后的仓库在你自己的GitHub帐号下。目前,你本地计算机对这个仓...

Auto install opencv after installing Ubuntu

Here is the shell code#!/bin/bashsudo apt-get install -y build-essentialsudo apt-get install -y cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-devsudo apt-get instal

    共 17 条
  • 1
  • 2
  • 请选择