前言今天在调试一个Scala程序时，IDEA报了can not resolve symbol toDF的错误, 查看了一下代码， 该行的逻辑是将RDD转成DataFrame，看起来似乎很正常， 但就是没有办法调用toDF方法，查看了一下上下文，原来是在代码重构的时候，不小心的将import sqlContext.implicits._给移除了。解决方法如果使用的是spark 2.0之前的版本...

Mac共享主机网络给虚拟机因工作需要需要且身边没有windows系统的笔记本，无奈只好在mac上利用虚拟机安装一个win7系统作为临时过渡。我使用的虚拟机软件是Parallels Desktop（以下简称PD）PD提供三种不同网络模式供用户选择:共享网络（推荐）桥接网络Host-Only网络各种网络模式的区别请移步官方文档一开始我并没有任何设置，直接使用默认的共享网络模式，使...

文章目录前言基本语法常用选项用法举例打印替换删除参考资料前言sed - stream editor，流编辑器，用于对输入流（文件或来自管道的输入）执行基本文本转换，是Linux系统中最重要和最常用的命令之一。基本语法其基本语法如下：$ sed [OPTION]... {script-only-if-no-other-script} [input-file]...常用选项选项...

Kafka可靠性的保证当我们谈论可靠性时，我们通常会谈到保证，保证是系统在不同情况下保留的行为。可能最着名的可靠性保证是ACID，这是关系数据库普遍支持的标准可靠性保证。 ACID代表原子性，一致性，隔离性和耐久性。当供应商解释他们的数据库符合ACID时，这意味着数据库保证了有关交易行为的某些行为。这些保证是人们信任关系数据库及其最关键应用程序的原因 —— 他们确切知道系统承诺的内容以及它在...

LinkedIn的开发团队主要由软件工程师Jay Kreps领导，他之前负责分布式键值存储系统Voldemort的开发和开源发布。最初的团队还包括Neha Narkhede和后来的Jun Rao。他们共同创建了一个消息系统，可以满足监控和跟踪系统的需求，并可以扩展到未来。主要目标是：• 使用推拉模型将生产者和消费者分离• 为消息传递系统中的消息数据提供持久性，以允许多个消费者• 优化消息的高...

ReplicationKafka的replication复制机制是其可靠性的保证，即为每个分区数据提供多个副本。每个Kafka topic包含有多个分区，分区是kafka存储数据的基本单位。一个分区只能存储在同一个硬盘上。Kafka保证每一个分区内的消息的顺序，无论这个分区是在线(available)的还是离线的(unavailable)。每个分区拥有多个副本，其中一个副本...