使用git pull拉取代码的时候，无法拉取最新代码，报"unable to update local ref"错误。除了重新clone一份代码外，还可以使用如下解决方案：1、切换到之前clone代码目录下，执行命令git gc --prune=now或者git gc2、再执行命令git pull3、有问题再执行后再做pull操作git rem...

1、安装界面化管理工具“TortoiseGit”。全部默认选择，完成安装。 2. 安装“TortoiseGit”的中文语言包。一步即可完成安装。3. 随便进入一个文件夹，鼠标右键进行设置。右键->TortoiseGit(T)->设置， 进入设置页面。  4. 在设置页面中，点击“常规设置”然后单击“重新运行首次启动向导”。 5. 在向导界面，所有选项一直...

《Brief History of Machine Learning》介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning.《Deep Learning in Neural Networks: An Overview》介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最新版本《神经网络与深度学

一. 运维1. Master挂掉,standby重启也失效Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是master会读取每个task的event log日志去生成spark ui，内存不足自然会OOM，可以在master的运行日志中看到，通过HA启动的master自然也会因为这个原因失败。解决增加Master的内存占用，在M

maven-shade-plugin中提供了一个Relocating(迁移)的功能，通过将原来包下的类迁移到我们指定的包名下。和okio的包删除，使用我们自己打的包。启动后发现可以，但是这肯定会导致集群用这两个包时报错。经过排查，发现大数据集群中依赖了okhttp和okio的包，而集群中也有okhttp和okio的包。如下图所示，就将okio和okhttp3包移到了我们制定的shaded目录下。剔

如果资源充足那就需要增加driver内存和调整spark.sql.autoBroadcastJoinThreshold内存，可以根据需要开启spark.broadcast.compress=true。因为spark.sql.adaptive.enabled=true开启自动调优，spark.sql.autoBroadcastJoinThreshold=2G。在使用多表关联的时候慎重开启spark.

由于多个 Task 同时写数据到 HDFS，如何保证要么所有 Task 写的所有文件要么同时对外可见，要么同时对外不可见，即保证数据一致性同一 Task 可能因为 Speculation 而存在两个完全相同的 Task 实例写相同的数据到 HDFS中，如何保证只有一个 commit 成功对于大 Job（如具有几万甚至几十万 Task），如何高效管理所有文件V1 committer（即的值为 1），

hive

Failed to execute goal com.github.eirslett:frontend-maven-plugin:1.6:install-node-and-npm (install node and npm) on project tdpco-web-app-ui: Could not download Node.js: Got error code 404 from the se

元数据是用来描述数据的数据（Data that describes other data）。下面是契诃夫的小说《套中人》中的一段，描写一个叫做瓦莲卡的女子：（她）年纪已经不轻，三十岁上下，个子高挑，身材匀称，黑黑的眉毛，红红的脸蛋－－一句话，不是姑娘，而是果冻，她那样活跃，吵吵嚷嚷，不停地哼着小俄罗斯的抒情歌曲，高声大笑，动不动就发出一连串响亮的笑声：哈，哈，哈！这段话里提供了这样几个信息：年龄（