1. 新增一块空磁盘2. sudo fdisk -l3. fdisk /dev/sdd4. cat /etc/fstabUUID="4b81d15f-50ac-4ead-8122-6f5eca05002f"    /opt    ext4   defaults   0 0

数字化经济革命的浪潮正在颠覆性地改变着人类的工作方式和生活方式，数字化经济在全球经济增长中扮演着越来越重要的角色，以互联网、云计算、大数据、物联网、人工智能为代表的数字技术近几年发展迅猛，数字技术与传统产业的深度融合释放出巨大能量，成为引领经济发展的强劲动力。第三，数据口径天然一致。无论是离线的流程，还是实时的流程，都是一套引擎，一套 SQL，一套 UDF，一套开发人员，所以它天然是一致的，不存在

I. 从简单开始，首先是单机单卡：服务器是虚拟机，只有CPU，下面程序分别计算加法、乘法#coding=utf-8#单机单卡#对于单机单卡，可以把参数和计算都定义再gpu上，不过如果参数模型比较大，显存不足等情况，就得放在cpu上import  tensorflow as tfwith tf.device('/cpu:0'):#也可以放在gpu上        w=

jenkins 要从git上拉代码，现在git服务器是基于tfs的，与以往不同。1. 首先确定Repository URL怎么写是规范的 2. 建立Creentials，即登录git服务器的用户和密码3. 在Jenkins服务器上通过ssh-keygen -t rsa，并将公钥发布到git服务器自己账号下的ssh密钥管理4.

1. brain02~04启动zksu - hadoopsudo service zookeeper-server restart2. brain01~03启动JNsudo service hadoop-hdfs-journalnode restart3. brain01上格式化namenodesudo -u hdfs hadoop namenode

Kubeadm是一个K8s部署工具，提供kubeadm init和kubeadm join，用于快速部署Kubernetes集群。--image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址。--pod-network-cidr Pod网络，与下面部署的CNI网络组件yaml中保持一致。注：--apiserver-advertise-add

在harbor系统上创建项目distribute-train，再次执行，成功。修改harbor服务器和客户端服务器上docker的daemon.json。然后重启docker并启动所有docker进程。

WITH提供了一种编写辅助语句以用于更大的查询的方法。这些语句通常被称为公共表表达式（CTE），可以被视为定义仅针对一个查询存在的临时视图。json.fail-on-missing-field：在json缺失字段时是否报错。json.ignore-parse-errors：在解析json失败时是否报错。一般无法保证json格式，所以以上两个配置是比较重要的。注意：针对双流中的每条记录都发触发。my

Hue是一个能够与Apache Hadoop交互的Web应用程序。一个开源的Apache Hadoop UI。特性：一个HDFS的文件浏览器，一个MapReduce/YARN的Job浏览器，一个 HBas的浏览器，Hive，Pig，Cloudera Impala 和 Sqoop2 的查询编辑器。它还附带了一个Oozie的应用程序，用于创建和监控工作流程，一个Zookeeper浏览器和SDK

最近在项目中使用了开源OLAP引擎——Mondrian实现一个多维分析系统，在项目后期系统优化阶段使用了Mondrian中的聚合表机制。这里结合Mondrian官方资料和个人使用经验，对Mondrian中聚合表的概念、应用场景、如何使用、注意事项等内容做一个总结。1. OLAP相关概念Mondrian是一个基于Java语言的开源OLAP引擎，它通过MDX语句执行查询，从关系型数据库RDBM