logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spring注入非单例bean及scope的作用范围

一、 问题描述       在大部分情况下,容器中的bean都是singleton类型的。       如果一个singleton bean要引用另外一个singleton bean,或者一个非singleton bean要引用另外一个非singleton bean时,通常情况下将一个bean定义为另一个bean的property值就可以了。不过对于具有不同生命周期

Oozie基础小结

Oozie是一个工作流引擎服务器,用于运行hadoop map/reduce和hive等任务工作流。同时Oozie还是一个java web程序,运行在java servlet容器中,如tomcat中。Oozie以action为基本单位,可以将多个action构成一个DAG图的模式运行。Oozie工作流通过HPDL(一种通过XML自定义处理的语言)来构造Oozie工作流。一个oozi

#hadoop
spark读取json,parquet文件

spark支持的一些常见的格式:文本文件,无任何的格式json文件,半结构化parquet,一种流行的列式存储格式sequencefile,一种用于key-value的hadoop文件格式,如果需要读hdfs数据的话,通常走hive的比较多。在企业中很少用,原因是写sql的时候,能用sparksession解决的,都不会去弄rdd的各种transform和actioni

#spark
编译警告"struct declared inside parameter list"

近来在阅读linux-2.6.37中cgroup的相关代码,读到include/linux/cgroup.h的开头时犯了嘀咕:#include <linux/sched.h>#include <linux/cpumask.h>#include <linux/nodemask.h>#include <linux/rcupdate.h>...

浮动ip

主要谈一谈关于浮动IP的东西,介绍下浮动IP是什么1、为什么要有浮动IP这个东西       现在有一个场景,在一台Linux上部署一个web应用,应用跑在tomcat里面,linux网卡上的ip是115.239.100.120大致就是如下的部署关系:      用户通过输入IP地址就能访问这个应用了,但是天有不测风云,有时候因为一些原因,服务会挂掉。于是开发人员就想了

#网络
vue基本用法总结

vue.js是一个构建用户界面的框架是一个轻量级MVVM(Model-View-ViewModel)框架,和angular,react框架类似,其实就是所谓的数据双向绑定数据驱动+组件化的前端开发(核心思想)通过简单的api实现**响应式的数据绑定**和**组合的视图组件更容易上手,小巧。angular指令ng-xxx 开头所有属性和方法都存储在$scope中由google维护vue指令以v-xx

k8s单机版本安装

最近准备研究k8s现在网上很多教程都是乱写的,下面是两篇比较有意义的博文https://blog.csdn.net/liukuan73/article/details/83116271https://blog.csdn.net/u013355826/article/details/82801482 ...

基于大数据量的视频推荐策略

构建视频的标签体系和词典画像:对kafka的video事件构建标签体系存入redis;利用video日志中的文本信息生成词典画像,涉及Word2vect产出词之间的相似度做聚类,避免了kmeans无语义的缺陷;构建用户画像:用videoId对kafka的videoEvent日志和redis中的视频标签体系进行join,产出用户画像(deviceId,word,weight),weigh

kafka+sparkstreaming实现每批次的wordcount统计模版

producer端:import java.util.HashMapimport org.apache.kafka.clients.producer.{KafkaProducer, ProducerConfig, ProducerRecord}import org.apache.spark.SparkConfimport org.apache.spark.streaming._

#spark
spark整合kafka的maven打包方式常见错误

问题1WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableException in thread "main" java.lang.NoClassDefFoundError: kafka/seria

#hadoop
    共 23 条
  • 1
  • 2
  • 3
  • 请选择