logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark 之 运行报错:Failed to allocate a page (67108864 bytes), try again.

目录:1、问题:Failed to allocate a page (67108864 bytes),2、解决1、问题WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again.2、解决spark-submit shell 中 driver 和 executor 的...

#spark
数据仓库 DataWarehouse 学习

目录1、定义2、特点3、元数据4、建模方法5、星型模型与雪花模型6、数据库与数据仓库区别1、定义出于分析性报告和决策支持目的而创建,提供所有类型数据支持的战略集合。2、特点数据面向主题数据是集成的数据是不可更新的数据是随时间变化的3、元数据存储方式一:数据集存储方式二:元数据库,一般使用MySQL4、建模方法范式建模维度建模实...

#数据仓库
hadoop 之 storm (编程模型、并发度、架构模型)

目录1、编程模型2、并发度3、架构模型1、编程模型    DataSource:外部数据源;    Spout:接受外部数据源的组件,将外部数据源转化成Storm内部的数据,以Tuple为基本的传输单元下发给Bolt;    Bolt:     接受Spout发送的数据,或上游的bolt的发送的数据。根据业务逻辑进行处理,发送给下一个Bolt或者是存储到某种介质上,介质可...

#storm
hadoop 之 hbase 原理 (hmaster, hregionserver, zookeeper, 读写流程及组件职责)

目录1、体系图2、写流程3、flush过程4、合并过程5、读过程6、hmaster职责7、hregionserver职责8、client职责 1、体系图2、写流程client向hregionserver发送写请求。hregionserver将数据写到hlog(write ahead log),为了数据的持久化和恢复。hregionserve...

#hadoop#hbase
hadoop 环境搭建之SSH免登密码登陆

目录:ssh 免登操作原理ssh 免登操作步骤ssh 免登操作原理:1/   A 使用ssh 生成 公钥和私钥,之后A请求登陆 B,2/   B 查看自己的授权列表authorized_keys,  是否含有A的公钥3/   B  用A的公钥随机加密一个字符串,并将该字符串发送给A 4/   A 接收加密的字符串,并用自己的私钥解密5/   A 将解密结果发送给 B...

ubuntu 作为服务器,创建新用户,并设置为管理员权限。

前提准备:使用 Xshell 远程登录 ubuntu 服务器创建新用户:非root 1、在root 用户下运行下命令,创建一个新用户,tamir$  useradd  -m  -s  /bin/bash   tamir2、将新用户加入超级管理员组$  usermod   -a   -G   sudo  tamir3、为新用户设置密码输入密码时

#ubuntu#服务器
mysql数据库中查询特定数据库下所有的表名

问题:查询mysql数据库中hibernate_day3下所有的表名:解决:sql语句如下:select table_name from information_schema.tables where table_schema='hibernate_day3' and table_type='base table';...

#mysql
一只爬虫带你看世界【3】

6.实战two:有道翻译  准备工作,打开有道翻译的官网,输入“陪伴是最长情的告白”,点击翻译,则会出现英文的翻译。  此时在该页面上点击右键,选择查看元素,弹出的菜单栏中选network,再点击页面上的翻译,弹出的信息中选择第一个,在信息右侧会出现header等信息,截图如下:   截图反映了服务器与浏览器之间的数据交换。其中Headers信息中,Genera

#python#爬虫
容器部署解决方案Docker

前言:Docker容器就是:一个镜像格式;一系列标准操作;一个执行环境。 1、容器技术      容器则是直接运行在操作系统内核之上的用户空间。因此,容器虚拟化也被称为“操作系统级虚拟化”,容器技术可以让多个独立的用户空间运行在同一台宿主机上。由于“客居”于操作系统,容器只能运行与底层宿主机相同或者相似的操作系统。 2、容器与虚拟机比较(1)本质上的区别(2)使用上...

BIOS启动模式 UEFI 与 Legacy ,及对应的硬盘文件格式GPT与MBR

目录1、遇到问题:将 Dell 灵越系列自带WIN10系统替换为win 7 旗舰版时遇到问题,其一是找不到 bios sequence,其二是用U盘重装系统后,报 no bootable devices found 错误... 2、解决方案:将BIOS 启动模式 将UEFI 改为 Legacy,使用U盘装系统是将文件格式为 MBR 格式。 3、知识总结:UEFI 与 Legacy , ...

到底了