logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark分布式数据集DataSet

从Spark 2.0开始,DataFrame与Dataset合并,每个Dataset也有一个被称为一个DataFrame的类型化视图,这种DataFrame是Row类型的Dataset,即Dataset[Row]。Dataset是在Spark1.6中添加的新的接口,是DataFrame API的一个扩展,是Spark最新的数据抽象,结合了RDD和DataFrame的优点。DataFrame 其实是

#spark#分布式#scala
游戏逆向——找call练习 汇编实现

找call练习任务找 call代码实现任务实现这 4 个功能 call找 callollydbg 附加这个程序下断点(bp send)执行任意功能(普攻)ctrl+F9 回到程序地址跟踪代码由于比较简单,就不演示了,以下列出功能 call 的地址普攻魔法群攻死亡代码实现使用 win32汇编实现,大家可以选择自己喜欢的语言实现(c++、e语言、python等)用汇编去实现这些功能非常方便,几乎就是复

#安全
Spark_SQL的UDF使用

用户自定义函数,也叫UDF,可以让我们使用Python/Java/Scala注册自定义函数,并在SQL中调用。这种方法很常用,通常用来给机构内的SQL用户们提供高级功能支持,这样这些用户就可以直接调用注册的函数而无需自己去通过编程来实现了。

#spark#sql#scala
spark数据分析练习

新数据集中需 城市名称、城市总订单、城市酒店平均用户评分、城市酒店总评论数。分别计算以下三个字段的最大值和最小值(城市总订单、城市酒店平均用户评分、城市酒店总评论数)打印输出

#spark#数据分析#大数据
spark数据分析练习

新数据集中需 城市名称、城市总订单、城市酒店平均用户评分、城市酒店总评论数。分别计算以下三个字段的最大值和最小值(城市总订单、城市酒店平均用户评分、城市酒店总评论数)打印输出

#spark#数据分析#大数据
pandas案例——预处理部分地区数据

数据清洗的任务是过滤那些不符合要求的数据,将过滤的结果交给业务主管部门,确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。

#pandas#python#数据分析
解决Linux虚拟机无法拖入文件问题

本人使用的虚拟机未遇到此问题版本为:VMware 15安装 VMware Tools点击虚拟机选择 安装 VMware Tools把压缩包复制到桌面或其它位置解压文件得到 vmware-tools-distrib 文件夹cd ~/Desktopsudo tar -zxvf VMwareTools-10.0.6-3595377.tar.gz执行 vmware-install.pl 文件sudo ./

ubuntu 搭建 Hadoop 完全分布式集群

文章目录Hadoop 相关软件及版本虚拟机参数配置准备工作分布式模式配置错误Hadoop 相关软件及版本软件版本Linux OSubuntu-20.04.1JDKjdk-8u261-linux-x64VMware15.5.6Hadoophadoop-2.7.7虚拟机参数配置master:1.5G ~ 4G 内存、20G 硬盘、NAT、1 ~ 4 核slave1 ~ slave2:1G 内存、20G

#分布式#hadoop#linux +1
centos7 ping不通主机解决方法

网络适配器设置为 NAT 模式修改文件,不是 root 用户的在前面加 sudovim /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO=staticONBOOT=yesIPADDR=192.168.13.22GATEWAY=192.168.13.2ctrl+E+N 打开虚拟网络编辑器重启网络服务service network restart.

#linux#centos
tensorflow2.0 实现 DQN

文章目录DQN 简介DQN 实践注意事项DQN 简介表格型方法存储的状态数量有限,当面对围棋或机器人控制这类有数不清的状态的环境时,表格型方法在存储和查找效率上都受局限,DQN的提出解决了这一局限,使用神经网络来近似替代Q表格。本质上DQN还是一个Q-learning算法,更新方式一致。为了更好的探索环境,同样的也采用ε-greedy方法训练。在Q-learning的基础上,DQN提出了两个技巧使

#tensorflow#深度学习#神经网络
    共 14 条
  • 1
  • 2
  • 请选择