logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

CPU&GPU加速计算

1、CPU(Centrol Processing Unit)CPU上的大部分面积做了cache 和控制逻辑,天然适合做复杂串行程序;2、GPU(GraphicProcessing Unit):GPU有更多的晶体管用于数据处理,特别适用于解决并行计算的问题。可以使程序执行速度加快。为处理图形图像数据而产生的;天然适合做大吞吐量简单计算;3、GPU通过多个线程并行减少取数据的等待4、异构运算:cpu+

文章图片
#c++
大数据基础二:spark原理和常见错误

一、spark原理参考:Hive on Spark调优_窗外的屋檐-CSDN博客_spark.executor.instancesSpark资源参数调优参数_TURING.DT-CSDN博客_spark 资源参数1、Job——对应action算子:包含很多task的并行计算,可以认为是Spark RDD 里面的action,每个action的计算会生成一个job。用户提交的Job会提交给DAGSc

文章图片
#spark#big data#大数据
大数据基础三:spark参数调优

spak运行原理&参数调优一、spark运行原理参考:Spark资源参数调优参数_TURING.DT-CSDN博客_spark 资源参数Hive on Spark调优_窗外的屋檐-CSDN博客_spark.executor.instances二、参数调优1、必调参数num-executors/spark.executor.instancesexecutor-memory/spark.exe

文章图片
#spark#big data#scala
到底了