logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark使用本地local模式时pom.xml的配置

1、本地local模式启动SparkSession我写了个脚本做使用本地local模式启动SparkSession,想做个简单的代码测试,如下://in scalapackage com.Toby.Gaoimport org.apache.spark.sql.SparkSessionobject Test {def main(args:Array[String]){val spark = Spar

tensorflow深度学习模型读取parquet数据进行训练实现

tensorflow深度学习模型读取parquet数据进行训练实现

#深度学习#tensorflow#pandas
pyspark比较dropDuplicates()+count与count(Distinct)

pyspark ,dropDuplicates()+ count与count(Distinct)计算速度和结果差异

注册spark UDF实例1【入门必修第一篇,简单函数注册,scala,python】

1、注册spark-SQLUDF自定义函数。使用spark.udf.register进行UDF注册,这样注册的函数既可以在SQL中使用,也可以在DataFrame的selectExpr表达式中使用。(1)scala语言第一步,注册UDF方法1:先定义函数,再进行注册// in scala//先定义一个函数def power3(number:Double):Double = number * num

【转】知识图谱(KG)存储、可视化、公开数据集、图计算、图编程工具分享

知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、

#知识图谱
Tensorflow2 model.compile()理解

在TensorFLow2中进行神经网络模型的训练主要包括以下几个主要的步骤:导入相关模块import准备数据,拆分训练集train、测试集test搭建神经网络模型model (两种方法:Sequential或自定义模型class)模型编译model.compile()模型训练model.fit()查看模型model.summary()模型评价模型预测model.predict()model.com

lateral view json_tuple函数解析非结构化的json数据类型

一、lateral VIEW json_tuple函数使用工作中遇到一个数据表的存储形式,如下:idcol1col21234{"part1" : "61", "total" : "623", "part2" : "560", "part3" : "1", "part4" : "1"}{"to_part2" : "0", "to_part4" : "0", "to_up" : "0", "to_pa

#sql
7、spark的生产应用提交脚本spark-submit

一、通过查询命令spark-submit --help 来查看提交任务时有哪些选项可以用。Options:说明备注--master MASTER_URLspark://host:port, mesos://host:port, yarn,k8s://https://host:port, or local (Default: local[*]).常用local本地模式、yarn集群模式 --depl

    共 26 条
  • 1
  • 2
  • 3
  • 请选择