简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
spark部署在单台机器上面时,可以使用本地模式(Local)运行;当部署在分布式集群上面的时候,可以根据自己的情况选择Standalone模式(Spark自带的模式)、YARN-Client模式或者YARN-Cluster模式、Spark on Mesos模式。 本地单机模式所有的Spark进程都运行在一台机器或一个虚拟机上面。Spark任务提交的方式为:spark-submit master=
Docker的性能损耗:以基因组分析流程为例IBM Research在2014年的一篇论文中,曾对比了Docker容器和虚拟机对CPU和内存的性能损耗,相比传统虚拟机技术,容器的性能更佳。那么对比物理机,Docker的性能又是怎样的呢?2015年9月的一篇论文『The impact of Docker containers on the performance of genomic pipelin
下面的内容是对docker的简单操作,包括启动docker,下载image,运行image,查看容器的详细信息、在容器中安装新程序,保持刚刚修改的容器,发布自己的镜像到docke Hub上。所有操作步骤是一步一步进行的,能够让初学者直观地感受一下docker的作用。说明:1、在看本博客之前,请先确认您已经安装好了docker。本人的docker运行在win上面。2、为了提高写博
GPU资源对神经网络模型的训练很重要,应充分利用电脑的显卡资源,加快模型的训练速度。这里是本人安装tensorflow-gpu的过程,记录了安装的步骤以及在每个步骤中参考的资料以及所遇到的坑。大体步骤:1. 使用pip安装tensorflow-gpu。2. 安装CUDA。3. 下载CUDNN并把copy其中相应的文件到CUDA所在目录的相应目录下。4. 检查系统环境变量。一开始可能会
tf.reduce_mean函数的作用是求平均值。第一个参数是一个集合,可以是列表、二维数组和多维数组。第二个参数指定在哪个维度上面求平均值。默认对所有的元素求平均。tf.reduce_mean比如,下面是对所有元素求平均值:x = tf.constant([[1., 1.],[2., 2.]])tf.reduce_mean(x)# 1.5当指定第二个参数的时候,指定
tensorflow模型的保存和恢复,save and restorehttp://blog.csdn.net/liangyihuai/article/details/78515913在本教程主要讲到:1. *什么是Tensorflow模型?*2. *如何保存Tensorflow模式?*3. *如何还原预测/迁移学习Tensorflow模型*?4. *如何导入其他已经训练好的模型,并进行自己的修改
在kafka中,有三个重要的抽象,分别为KStream,KTable和GlobalKTable。本文主要讲解GlobalTable。Global table存在的理由Kafka根据数据的key来分区,一般情况下相同的key会存入相同的分区中,如果使用两个KTable来进行join操作,那么join的结果需要进一步在硬盘中进行分区操作。而硬盘的不断寻址读写操作会严重影响性能。在流操作应用中,经常..
2018年,Apache Kafka以一种特殊的设计和方法实现了强语义的exactly-once和事务性。热泪盈眶啊!这篇文章将讲解kafka中exactly-once和事务操作的原理,具体为(1)exactly-once在kafka中的定义。(2)数据生产者的幂等操作和kafka的事务性支持。(3)exactly-once的流处理。1. 什么是恰好一次exactly-onceexact...
今天讲的论文来自MIT的Digital Currency Initiative, 名字叫《Discreet Log Contracts》https://adiabat.github.io/dlc.pdf,作者是比特币闪电网络的作者Dryja。它跟闪电网络有一些联系。本文不是论文的直接翻译。本人希望以通俗易懂的表述方式跟读者分享区块链技术。1 论文背景和要解决的问题现在有一个应用场景,al...
本文内容整理自MIT教育视频,讲解的是近两年来深度学习一些方面最现今的进展,类似于综述。本文将列举出内容的纲要,视频连接资源和PPT资源下载链接。视频的纲要Deep Learning: State of the Art*(Breakthrough Developments in 2017 & 2018)• BERT and Natural Language Processing..