大数据技术是一组用于处理、存储和分析大规模数据集的技术和工具。随着数字化时代的到来，数据量的爆炸性增长使得传统的数据处理和分析方法变得不够高效，因此大数据技术应运而生。处理海量数据：大数据技术能够有效地处理来自各种来源的海量数据，包括结构化数据（如关系型数据库中的数据）、半结构化数据（如XML、JSON格式的数据）、以及非结构化数据（如文本、图像、音频、视频等）。并行处理：大数据技术通常采用分布式

像用cdc、ogg这样的一个技术，会监控数据库的日志。当然很多时候，在生产中的选型比较复杂，而且会有MPP与大数据产品一起使用的场景，但整体的流程不变，只是各阶段的产品有所替换。然后由流（处理）引擎，比如说spark生态圈的spark streaming，当然还有比较新的像flink这些产品进行一个实时处理。一般开源场景中，Hive是做数仓选型比较多的一个组件，或者放到Spark生态圈的spark

在《携程技术2018年度合集》中，一共70篇文章中，只有5篇是大数据的内容。其中有一篇，讲到了Alluxio的应用过程。在2018年，携程主集群规模已经突破千台，存储着50PB的数据，并且每天的数据增量大概是400TB。每天的作业数也达到了30万。当时，携程使用的Spark Streaming实时任务，会将结果数据直接写入到HDFS中，400个流作业每天带来500万小文件的落地，虽然会有任务定期进

前言搭建samba的时候，如果是在内网\测试环境中，可以直接关闭防火墙，但是如果是在外网情况下，需要对防火墙开放某些端口。开放的具体步骤，下面我们来看。 操作步骤1.添加端口firewall-cmd --zone=public --add-port=80/tcp --permanent   （--permanent永久生效，没有此参数重启后失效）2.重新载入fire...

前言正在使用react native构建自己的第二款APP，遇到了之前没有遇到的一些问题，就是点击下面的tabbar的时候，上面的状态栏问题无法动态改变。查阅了一些资料也没有头绪，最后去官网看了一下文档，解决后为有同样问题的大家分享一下步骤。步骤1. 重构navigationOptions使得可以接收参数static navigationOptions = ({ navigation }) =&a

前言之前博主一直是使用手动发布项目的，所以效率上是很费时的。最近因为搞了几台服务器，发布自己项目的时候感觉很痛苦。于是准备暂时打造一个自动化的发布脚本，第一步当然是将代码传到github上，因为码云上有免费的仓库，就直接用码云上手了。下面是将本地的代码使用git推到码云的步骤。环境操作系统：WIN10软件环境：git, Git Bash步骤1. 打开Git Bash, 生成公钥ssh-keygen

前言最近自己编写的react native安卓程序准备部署一下，发现调用的webview是本地的html文件，即url的格式是: http://localhost:8081/..这样的， 所以打包之后会出现加载不到页面的问题。所以下面就讲一下怎么样去修改，以便部署到线上不出问题。步骤1. 将html文件和相关的js/css等文件复制到asserts目录下    --即存放bundle包的目录，建议

前言打包apk的时候，遇到一个很神奇的问题，就是报错说找不到符号MainApplication.java:6: 错误: 找不到符号import com.facebook.react.ReactNativeHost;而且连续报了8个错误，后来查阅了很多文档，发现只有英文的帖子里有解决方法，最后拜读了一下，下面为大家解答一下问题详解很明显，这种错误是没有导入相应的包所导致的。所以很大的可能会是包管理工

Language Support for Java™ by Red Hat 插件版本较旧，无法将当前Java项目添加到source path中，导致无法编译。更新Language Support for Java™ by Red Hat 插件后重启VSCode，问题解决。使用VSCode编译、运行Java程序时，直接报错提示。

分布式NoSQL数据库基本概念什么是NoSQL?NoSQL是一些分布式非关系型数据库的统称，它采用非关系的数据模型，弱化模式或表结构、弱化完整性约束、弱化甚至取消事务机制，可能无法支持，或不能完整的支持SQL语句。目的是实现强大的分布式部署能力——一般包括分区容错性、伸缩性和访问效率（可用性）。什么是HBase？全称Hadoop Database，它是Google BigTable的开源实现，是一