服务器默认使用秘钥方式登录，有些麻烦，所以切换成密码登录，具体方式如下。

目前，大数据计算引擎主要使用Java或基于JVM的编程语言实现的，例如Apache Hadoop，Apache Spark，ApacheDrill，Apache Flink等。但同样会面临一个问题，就是如何在内存中存储大量的数据（包括缓存和高效处理）。JVM内存管理的不足：1）Java对象存储密度低。Java的对象在内存中存储包含3个主要部分：对象头，实例数据，拆分填充部分。例如，一个只包含boo

往hive中的表插入数据的时候，不能直接运行成功，报一下错误错误原因：namenode内存空间不够，JVM剩余内存空间不够新job运行所致错误提示0: jdbc:hive2://hadoop101:10000> insert into table student values(1002,"zss");INFO: Compiling command(queryId=root_202109091

2、collect_set 可以将分组后的数据一条一条收集成一个array，而且会去除重复数据。使用了hive中的3个函数，concat、collect_set、sort_array。3、sort_array 可以对一个array中的所有元素进行字典序排序。1、cancat 可以将多个字符串连接。

前段时间一位朋友在群里反应，公司的部署大数据集群的Linux服务器中了挖矿木马病毒，让我给他解决，分享一下解决方法。一. 什么是挖矿木马首先经过多年的演进，越来越多的挖矿木马利用多种方式入侵系统，意图感染更多的机器，提高挖矿的效率和收益，其中主要入侵方式如下：1. 漏洞利用：利用系统漏洞快速获取相关服务器权限，植入挖矿木马是目前最为普遍的传播方式之一。常见的漏洞包括Windows系统漏洞、服务器组

1、多数企业内部系统建设多，数据分散，各系统数据共享困难，信息化建设“烟囱式”严重；2、企业各部门系统口径不一致，数据标准不统一，数据质量无法整体评估；3、数据不可知，数据挖掘不到位。数据使用者未知数据多，无法得知这些数据与业务的联系，不知如何管理数据；4、数据不可控，数据使用者对汇集数据、处理数据、数据服务过程模糊5、数据不可取，数据使用者知晓自己业务所需数据，但不知如何获取或者轻松获取；6、数

数据治理章程类似于企业的公司条例，该章程用以明确数据治理相关战略规划、合规管理和控制、标准和规范，如《数据治理工作管理办法》，加强组织数据治理管理能力，满足组织数据治理的要求，统一数据标准，提高数据质量，深化数据应用，支撑业务发展，提升管理水平及合规监管要求。数据治理组织的构建旨在通过建立数据治理组织架构明确各级角色和职责，保障数据治理的各项管理办法、工作流程的实施，推送数据治理工作的有序开展，如

1、多数企业内部系统建设多，数据分散，各系统数据共享困难，信息化建设“烟囱式”严重；2、企业各部门系统口径不一致，数据标准不统一，数据质量无法整体评估；3、数据不可知，数据挖掘不到位。数据使用者未知数据多，无法得知这些数据与业务的联系，不知如何管理数据；4、数据不可控，数据使用者对汇集数据、处理数据、数据服务过程模糊5、数据不可取，数据使用者知晓自己业务所需数据，但不知如何获取或者轻松获取；6、数

本文分为数据仓库建设和数据治理，篇幅比较长，耐心看完。

下面文章详细介绍如何降低无效和延迟方案优势：1，低成本：一年只要几百块，折合一个月几十块，每天约等于1-2块，平摊到每台机器上成本更低。2，效果显著：部署后，延迟可以大幅度降低。广东大部分地区连接asia2节点为例，延迟可以降低到20ms以内。同时可以大幅度丢包率，降低Shared的延迟率和无效率。解决方案：目前国内的云主机厂商都推出了海外节点，香港节点是距离大陆最近，连接速度也最快的地域。国内常