从MongoDB 3.6开始，Change Streams可以让应用程序获得更改通知，而无需跟踪（tail）操作日志（oplog）。更改流支持仅适用于副本集（replica sets）或分片（sharded）集群。Change Streams可以与命令式和反应式（reactive）MongoDB Java driver一起使用。强烈建议使用反应式变体，因为它的资源密集度较低。

默认情况下，当客户端用完游标提供的所有结果时，MongoDB会自动关闭游标。在耗尽时关闭游标会将流转换为有限流。对于，可以使用 Tailable Cursor，该Cursor在客户端消耗完所有最初返回的数据后保持打开状态。可以使用MongoOperations.createCollection创建有上限的集合。为此，请提供所需的CollectionOptions.empty().capped()…

在最简单的形式中，默认数据源parquet(除非spark.sql.sources.default另有配置)将用于所有操作。在中的“examples/src/main/python/sql/datasource.py”中找到完整的示例代码。

Spark SQL提供了spark.read().csv(“file_name”)将CSV格式的文件或文件目录读入Spark DataFrame，提供了dataframe.write().csv(“path”)将CSV文件写入。函数 option()可用于自定义读或写的行为，例如控制header、分隔符、字符集等的行为。在中的“examples/src/main/python/sql/dataso

REPAIR TABLE恢复表目录中的所有分区，并更新Hive metastore。使用PARTITIONED BY子句创建表时，会在Hive metastore中生成并注册分区。但是，如果分区表是根据现有数据创建的，则分区不会自动在Hive metastore中注册。REPAIR TABLE对不存在的表或没有分区的表抛出异常。恢复分区的另一种方法是使用ALTER TABLE RECOVER PA

例如，如果你有3个topic，每topic5个分区，你希望使用concurrency=15，但是结果你只能看到5个活跃的consumer，每个consumer分配了每个topic的一个分区，留下10个空闲的consumer。此类采用RecordFilterStrategy的实现，在该实现中，你可以实现filter方法来发出消息是重复的并且应该丢弃的信号。另一个一个方便的方法getAllListen