logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

maven 打包时动态替换properties资源文件中的配置值

pom build节点下面添加resource配置:src/main/resources/true**/*.properties

七牛是如何搞定每天500亿条日志的

七牛是如何搞定每天500亿条日志的2015-07-31 CSDN 七牛云存储7月30日,七牛数据平台工程师王团结在CSDN Spark微信用户群,与近千名Spark技术开发人员,结合七牛内部使用的数据平台,深入分享了团队是如何利用Flume、Kafka、Spark Streaming等技术搞定每天500亿条日志的,并详细讲解了各个工具使用的注意点。王团结,主要负责七牛数

nginx rewrite规则语法

在新主机的迁移过程中,最大的困难就是WP permalink rewrite的设置.因为旧主机是用的Apache, 使用的是WP本身就可以更改的.htaccess,没有太大的难度.而这次在VPS上跑的是Nginx,主要是因为Nginx的速度比Apache要快很多.但是另一方面就不是那么舒服了,因为Nginx的rewrite跟Apache不同,而且是在服务器上面才能更改.下面是其间的一些

linux bash中的三目运算符

对于三目运算符大家一般都很熟悉,java中的写法是 a==b?c:d  当a==b时为c否则为d在linux bash中用   “:-”来表示,如:export HADOOP_HOME=${HADOOP_HOME:-$LIB_DIR/hadoop}我们在hadoop的相关脚本中容易看到这句,意思就是如果你有自己指定环境变量$HADOOP_HOME,那么就用你指定的,否则就取$LIB_DIR

关于DI容器UnityContainer的Dispose方法释放资源的一点理解

当调用IUnityContainer.Dispose()方法的时候,它会释放所有子容器(也就是采用CreateChildContainer创建出来的容器)和注册为ContainerControlledLifetimeManager的单例对象。下面这个例子能说明问题:IUnit

#list#测试
让cloudera manager装的spark支持hql

如何编译spark源码 的assembly来支持hive前面的文章已经介绍过,如果你是用cm装的搭建的集群:第一步:在cm 中的spark service里指定gateway为你要使用spark命令行的节点。第二步:将assembly jar上传到hdfs第三步:在spark的服务范围中修改以下配置为你在hdfs上的assembly jar第四步:spark

spring cloud zuul网关服务重试请求配置和源码分析

我们一般部署服务的时候,都会部署一个网关服务,内部所有的其他微服务的调用,都将通过网关路由过去,不对外直接暴露,对外只暴露网关服务。而且一般内部服务会部署多个实例,zuul集成了ribbon,会自动负载均衡的方式去调用内部服务。当内部服务滚动重启的时候,通过网关的一个请求刚好路由到重启的那个实例的话,因为默认没有开启zuul的请求重试策略,该请求将会报错,其实理想的方式可以通过重试路由到另外一个活

springcloud 和apollo配置中心一起使用时踩到的一个坑

场景描述:今天收到线上一个服务的instance deregistered的告警邮件,在springboot admin上确实那个instance不在线了。于是去服务器上jps看了一下,进程正常的,但是/health端点信息显示eureka为down。查看error.log,并没有错误日志,查看warn.log,发现里面有些许的警告日志如下:[2018-09-20T19:12:24.159...

控制docker-compose中服务的启动顺序

官方文档:https://docs.docker.com/compose/startup-order/可以通过depends_on来编排服务之间的依赖关系,但是有一个问题,比如一个web项目,依赖一个数据库或者依赖一个redis服务,那么要等到数据库完全准备好之后,才能让web服务开始启动并连接数据库,docker默认的依赖方式是只要依赖数据库服务容器启动就会启动web容器,而不 检查数据库是

scala 解析json字符串

scala中自带了一个scala.util.parsing.json.JSON然后可以通过JSON.parseFull(jsonString:String)来解析一个json字符串,如果解析成功的话则返回一个Some(map: Map[String, Any]),如果解析失败的话返回None。所以我们可以通过模式匹配来处理解析结果:val str2 = "{\"et\"

    共 26 条
  • 1
  • 2
  • 3
  • 请选择