logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

摸鱼大数据——Spark SQL——Spark SQL函数定义二

第一步: 在PySpark中创建一个Python的函数,在这个函数中书写自定义的功能逻辑代码即可​第二步: 将Python函数注册到Spark SQL中注册方式一: udf对象 = sparkSession.udf.register(参数1,参数2,参数3)参数1: 【UDF函数名称】,此名称用于后续在SQL中使用,可以任意取值,但是要符合名称的规范参数2: 【自定义的Python函数】,表示将哪

文章图片
#ajax#javascript#ecmascript +4
摸鱼大数据——Linux高级命令 五

网络编程三要素:ip地址端口号协议​ip地址作用: 每台网络设备在网络中的唯一标识(大白话就是根据ip能够找到对应网络设备)注意: 127.0.0.1和localhost一般都代表本地主机www.baidu.com就是百度服务ip地址的别名端口号:网络设备上每个程序的对应端口的编号(大白话就是根据端口号找到对应程序)端口号范围: 0-65535。

文章图片
#linux#运维#服务器 +4
摸鱼大数据——Spark基础——Spark集群Standalone模式+PyCharm远程开发配置

远程连接方案, 允许所有的程序员都去连接远端的测试环境, 确保大家的环境都是统一的, 避免各种环境问题的发生,而且由于是连接的远程环境, 所有在pycharm编写代码 都会自动上传到远端服务器中, 在执行代码的时候, 相当于是直接在远端环境上进行执行操作。可以配置为Base环境,也可以配置为其他的虚拟环境, 但是目前建议配置为Base环境,因为Base环境自带python包更全面一些。Standa

文章图片
#大数据#spark#分布式 +4
摸鱼大数据——Spark SQL——基本介绍和入门案例

Spark SQL是Spark多种组件中其中一个,主要是用于处理大规模的【结构化数据】什么是结构化数据: 一份数据, 每一行都有固定的列, 每一列的类型都是一致的 我们将这样的数据称为结构化的数据例如: mysql的表数据1 张三 202 李四 153 王五 184 赵六 12为什么要学习Spark SQL呢?1- 会 SQL的人, 一定比会大数据的人多2- Spark SQL 既可以编写SQL语

文章图片
#大数据#spark#sql +4
摸鱼大数据——Spark基础——Spark入门案例词云统计加强

该错误需要查看Hadoop的源代码(131行):https://gitee.com/highmoutain/hadoop/blob/trunk/hadoop-mapreduce-project/hadoop-mapreduce-client/hadoop-mapreduce-client-core/src/main/java/org/apache/hadoop/mapred/FileOutputF

文章图片
#大数据#spark#分布式 +4
从零开始搭建——分布式部署个人网站(LNMP+WordPress)二

—>点击主文件夹的其他位置的计算机,找到user文件夹打开后,找到local文件夹打开后,找到src文件夹打开,找到刚刚发送的nginx软件包,注意这里的(user/local/src/软件包)路径是可以根据要求来变化的。——>输入命令useradd-u900nginx-gnginx-s/sbin/nologin后回车,创建一个新用户,用户名为nginx,UID设置为900,所属用户组为nginx

文章图片
#分布式#linux
程序猿大战Python——Python与MySQL交互三

sql = "insert into student(name,gender,age) values(%s,%s,%s)"# 不管什么类型的数据,都是使用%s替换。# sql = "insert into student(name,gender,age) values(%s,%s,%d)"# 错误。insert into student(name, gender, age) values ('赵雪

文章图片
#python#mysql#交互 +4
    共 11 条
  • 1
  • 2
  • 请选择