基本查看命令查看数据库：\l\c database 切换到指定数据库切换schema set search_path to your_schema;\dn 列出当前数据下所有的schema\db 列出所有的表空间 tablespace查看当前schema下面的表： \d查看表定义：\d tableName\du或\dg列出所有的角色或者用户\dp 查看权限分配当客户端与服务器端编码不一致时候会出现

Linux系统内存：cached过大问题 现象：修改配置释放cached内存：echo 1 > /proc/sys/vm/drop_caches还远系统默认配置：echo 0 > /proc/sys/vm/drop_caches补充： echo 字符串 > 文件  就是把字符串内容从定向到文件中。

Grafana是一个可视化工具，主要用于监控报表的可视化，支持各种表格以及插件灵活拓展多种数据源，更多参见:GrafanaGrafana优点：1：Grafana支持更多插件扩展数据源；2：支持监控报警；3：丰富的可视化表格等。使用大概如下：创建DashBoard基于上面创建的Dashbord创建panel，一个panel就是一个可视化面板，在panel里面可以选择多种表格，例如：...

转载至：http://colobu.com/2015/03/23/kafka-internals/?utm_source=tuicool&utm_medium=referral本文主要介绍了Kafka High level的代码架构和主要的类。Boker 架构network layerKafka使用NIO自己实现了网络层的代码， 而不是采用n

转至：http://www.mamicode.com/info-detail-1655205.html译自:http://blog.cloudera.com/blog/2015/03/exactly-once-spark-streaming-from-apache-kafka/查资料时发现上面这篇文章不错，虽然是1.3的老版本的知识,但是还是有借鉴的地方，业余时间按照自己的理解翻译

困惑1：Spark Streaming微批次，Flink真正流处理系统差别在哪里？是因为消费Kafka数据的逻辑不同吗？（本文以Kafka为数据源举例）Spark Streaming微批次很容易理解，一次处理一个微批次的数据。而Flink代表的真正的流处理是一次处理一条数据。那么消费Kafka数据逻辑中，是不是在微批次中一次消费一个批次的数据，而真正流处理一次消费一个记录呢？答案是否定的。这两

问题1：spark-submit 提交任务报错如下：分析：起初我的spark 集群是部署在yarn上，所以在spark-env和spark-default下配置了hadoop相关参数。最后我想使用spark standalone模式跑程序，就把spark-env和spark-default下的hadoop相关参数注释掉了。之后提交程序提示：Exception in thread "

子曰："温故而知新，可以为师矣。"学完长时间不使用不复习便会逐渐忘记，故做一下笔记！Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher)整合kafka0.10.0新特性（API都在实验中）。 The Spark Streaming integration fo

LocationStrategies 位置策略The new Kafka consumer API will pre-fetch messages into buffers. Therefore it is important for performance reasons that the Spark integration keep cached consumers on execut

接着Spark整合kafka0.10.0新特性(一)开始import org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.streaming.kafka010._