1.几种缓存数据的方法例如有一张Hive表叫做activity1.CACHE TABLE//缓存全表sqlContext.sql("CACHE TABLE activity")//缓存过滤结果sqlContext.sql("CACHE TABLE activity_cached as select * from activity where ...")CACHE

重装hbase后导致出险问题:hbase(main):007:0> create 'test_t2','f1' ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMast..

Step 11. 添加userparameter_io.conf配置文件在/etc/zabbix/zabbix_agentd.d下添加userparameter_io.conf, 文件内容如下:UserParameter=custom.vfs.dev.read.ops[*],cat /proc/diskstats | grep $1 | head -1 | awk '

hiveshow locks ;可以展示表以及分区级别的锁show locks table_name; 展示表级别的锁当分区写数据异常失败之后,采用unlock table table_name;并不能解决insert overwrite table partition卡死问题采用show locks,结果如下示例:7db_name@table_nameS...

由于data.loc[value]和 data[data.key==value] 这两者之间有一定的差异，第一种方式返回的可能是series，第二种方式返回的是dataframe，所以在做复杂条件筛选的的时候，可能会爆str相关的错误。这个是针对dataframe写的，但是作为series就不适用了。

深度学习模型，训练过程中，经常遇到预测的结果集中在某个值，而且在学习的过程中会变，样例如下。3、输入的数据没有标准化，考虑对输入的特征进行分bin or标准化处理。2、更改随机种子，估计是没有初始化好，或者调整学习率试试。5、使用其他模型的参数，进行权重初始化。

实时场景下的机器学习模型实时特征离线特征融合方案(踩坑指南)

1. 全量表：每天的所有的最新状态的数据，2.增量表：每天的新增数据，增量数据是上次导出之后的新数据。3.拉链表：维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录而已,通过拉链表可以很方便的还原出拉链时点的客户记录。4. 流水表： 对于表的每一个修改都会记录，可以用于反映实际记录的变更。拉链表通常是对账户信

直接报错  sparkKryo serialization failed: Buffer overflow 错误提示需要调整的参数是 spark.kryoserializer.buffer.max 最少是20 默认的显示为0 --conf 'spark.kryoserializer.buffer.max=64'

使用如下git命令查看所有远程分支：git branch -r方法一使用如下命令：git checkout -b 本地分支名x origin/远程分支名x使用该方式会在本地新建分支x，并自动切换到该本地分支x。方式二使用如下命令：git fetch origin 远程分支名x:本地分支名x使用该方式会在本地新建分支x，但是不会自动切换到该本地分支x，需要手动checkout。git branch