logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark rdd checkpoint的用法注意点

/**   * Mark this RDD for checkpointing. It will be saved to a file inside the checkpoint   * directory set with `SparkContext#setCheckpointDir` and all references to its parent   * RDDs will be

java 中使用ScriptEngine执行javascript脚本代码和使用中应该注意的事项

我们都知道在使用elasticsearch的时候可以配置类似script_score这种执行一个脚本来改变文档得分,script_score可以指定lang参数,可选有groovy(默认值),javascript,native。脚本中可以使用一些提前传入的变量,入_score,doc等等可以获取目前的得分,或者获取原始文档的一些信息用来改变评分。总之就是它会执行你配置的这一段脚本代码。有时

通过一个springcloud stream kafka metrics的BUG的解决来了解kafka binder的初始化流程。

首先,从官方文档上摘录了两段文档说明:34. Metrics EmitterSpring Cloud Stream provides a module called spring-cloud-stream-metrics that can be used to emit any available metric from Spring Boot metrics endpoint to a name

使用kafka作为springcloud bus的消息总线,以及如何自定义总线事件

springcloud bus默认只支持rabbitmq和kafka两个binder,当然也是可以自己写binder扩展,本文主要介绍使用kafka 作为binder来提供消息总线服务,最新稳定版的Dalston.SR3默认使用的是kafka 0.10.1.1版本,如果你的kafka集群不是这个版本的话,需要整理一下依赖(排除原来的依赖,添加新的kafka相关依赖,官方文档有详细说明),不过也只支

java 中使用ScriptEngine执行javascript脚本代码和使用中应该注意的事项

我们都知道在使用elasticsearch的时候可以配置类似script_score这种执行一个脚本来改变文档得分,script_score可以指定lang参数,可选有groovy(默认值),javascript,native。脚本中可以使用一些提前传入的变量,入_score,doc等等可以获取目前的得分,或者获取原始文档的一些信息用来改变评分。总之就是它会执行你配置的这一段脚本代码。有时

WinForm中的MVC模式(好吧,砖家们都叫MVP模式)

本文主要介绍MVC模式在WINFORM中的实现,其实砖家们都称它为MVP模式,小弟E文不太好,真的是记不住那个P怎么拼写的。。MVC模式主要解决的问题就是将表示层和业务层进行分离,在以往做WINFORM项目的时候,通常都是将很多的逻辑代码直接写在了Form.cs代码的事件里,这样

#mvc
maven 打包时动态替换properties资源文件中的配置值

pom build节点下面添加resource配置:src/main/resources/true**/*.properties

七牛是如何搞定每天500亿条日志的

七牛是如何搞定每天500亿条日志的2015-07-31 CSDN 七牛云存储7月30日,七牛数据平台工程师王团结在CSDN Spark微信用户群,与近千名Spark技术开发人员,结合七牛内部使用的数据平台,深入分享了团队是如何利用Flume、Kafka、Spark Streaming等技术搞定每天500亿条日志的,并详细讲解了各个工具使用的注意点。王团结,主要负责七牛数

nginx rewrite规则语法

在新主机的迁移过程中,最大的困难就是WP permalink rewrite的设置.因为旧主机是用的Apache, 使用的是WP本身就可以更改的.htaccess,没有太大的难度.而这次在VPS上跑的是Nginx,主要是因为Nginx的速度比Apache要快很多.但是另一方面就不是那么舒服了,因为Nginx的rewrite跟Apache不同,而且是在服务器上面才能更改.下面是其间的一些

如何为Kafka集群选择合适的Topics/Partitions数量

这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素,并提供一些简单的计算公式。文章目录 [hide]1 越多的分区可以提供更高的吞吐量2 越多的分区需要打开更多地文件句柄3 更多地分区会导致更高的不可用性4 越多的分区可能增加端对端的延迟5 越多的partition意味着需要客户端需要

到底了