logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据流处理开窗时间和滑动时间、滚动窗口和滑动窗口是什么

开窗时间指每隔多长时间进行一次计算滑动时间是指一次计算,覆盖之前多长时间数据滚动窗口指的是开窗时间与滑动时间相等,此时数据以普通的顺序时间线去处理数据,不会发生时间线的重叠,数据理论上不会丢失滑动窗口一般指的是滑动时间大于开窗时间,在时间线上,存在时间的重叠,每次计算数据会重复某些特殊的情况下会出现滑动时间小于开窗时间的滑动窗口,不过很少见,一般只是做数据抽样的时候做...

#数据分析#大数据
大数据经典算法--共同好友算法

大数据有很多的经典算法,如最常见的worldcount算法,不过今天我要给大家展示的是,大数据嵌套MR的经典算法:共同好友pom如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XM

#大数据#hadoop#mapreduce +1
spark任务报错 Could not find CoarseGrainedScheduler

最后在排查问题的时候发现,在提交任务的命令上,服务的用户提交命令中对于标准的配置格式不对,导致客户端这边没有对任务正常的识别关闭,从而在yarn释放了资源之后,才发现任务已经关闭了。记录一个spark的异常问题,提交spark任务之后,从运行结果和yarn上的日志来看,任务是成功的,但是在client中末尾出现了如下报错。这个报错在社区上有相关案例——》

#spark#大数据#分布式
知识点18--如何将spring boot项目布置在外部tomcat中

我们前面的知识点使用spring boot开发了一个用户管理的demo,但是启动的时候我们都使用的是spring-boot-web依赖导入的内置tomcat,这在正式的开发中一般是不提倡的,除非开发的系统在使用上要求不高,而且很多时候网络策略只给了少量的端口,因此你办不到模块都用不同的内置web软件并占用不同的端口,所以单凭内置的tomcat是无法保证系统正常的运行的,这时通常的开发手动就是部署到

#tomcat#spring boot#java
知识点4--spring boot实现三层架构-删除

本篇知识点延续知识点2的项目,实现删除数据操作,在正式的内容前,先完善之前的几个小问题。问题一:spring boot的框架实现了强封装,甚至在我们SSM时写的大量的无实际业务的service、dao层代码都封装成了自带的方法直接调用就可以,但是并不是说不能自己写了,只是无必须写自定义代码才可解决的复杂业务时,我们调用方法就行问题二:知识点2中的分页查询,有个Bug,点击尾页的时候无法成功跳转到尾

#java
idea导入git项目存在.git文件夹但无git功能列表

但是个别情况会消失,比如黑窗口操作回退、新导入一个项目没有识别到等等原因,这个时候你只需要在settings中找到如下配置,选中灰色内容,点击加号,git就可以使用了。正常情况下一个git项目会有一个git功能页。

#git#github
java.security.NoSuchAlgorithmException: Cannot find any provider supporting DES/CBC/PKCS5Padding

问题的触发场景:写一个文档处理功能时,使用的类库在解析文件内容时,在开发工具里运行一切正常,但是打包后cmd下java -jar运行的时候会报一个安全框架异常,信息如下。最后发现直接运行的时候加载不到jdk下的。单独拿出来,放到你的类路径下。给大家分享一个特奇葩的问题。包,解决方法就是把jdk下。指定jar包路径解决的。

#java#jar#spring
github上的远程库如何多人一起开发

一般情况下,公开的项目时是可以让所有人发Pull请求的,但是有的项目并不能公开,作为私有的仓库可以让项目原持有者,在github上在如下入口向合作者发送项目邀请,按照名字即可搜索到对方,随后就需要被邀请者同意,并clone一下项目。

#github
数据库的case when语句

case when语句书写格式有两种第一种是CASE genderWHEN 1 THEN'男'WHEN 2 THEN'女'ELSE'其他'END第二种是CASEWHEN gender=1 THEN'男'WHEN gender=2 THEN'女'ELSE'其他'END一般情况下数据库都是支持的,只是用的时候可能随着业务不同而难易程度不同...

#数据库
在VMware上安装win虚拟机

这是因为老版vmware对WINDOWS ISO镜像包的要求是相当低的,而后期更新的vm版本就对其要求很高了,如果你在网上随便下载,那你下载的iso可能在刻录的时候,某些具体参数,达不到要求,这也就导致很多人使用自己在网上随便下载的iso包时,虚拟机一开就提示会找不到系统,我们要去这个网址下载操作系统—》》https://msdn.itellyou.cn/这里说一下如你用的VMware版本较老,或

    共 25 条
  • 1
  • 2
  • 3
  • 请选择