logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

redis防止多次点击代码

用户多次请求,如果这个任务在运行,那么则返回“任务执行中”,如果运行结束或者到期,则“允许用户通过执行下面的代码”。DBproperties是我写的外部文件,他能够读取外部配置中的内容。

#java#数据库#开发语言
nginx请求转发webSocket

原由1.我有一个socket服务,用ip访问是成功的,但是老板说用这个不行,要用nginx请求转发,转发内网地址到某个域名2.但是我改成了指定域名后失败,

文章图片
#websocket#nginx#网络协议
redis设置【过期时间】

遇到个业务,每次下发指令,都需要存储指令的id,当终端机器,推给服务端的时候,会携带指令,此时根据指令id,判断是否存在。每辆车,1个小时可能出现100次指令,如果有10W辆车,那就是1千万,1小时1千万数据,存储不太现实,redis支持的key只有2亿。因为下次也用不到这个指令,如果是做数据分析的话,我们直接把指令记录写到磁盘就行。所以需要设置一个过期时间,当指令过了多久后会自动消失。这种方法不

#redis#缓存#java
mac电脑使用(windows转Mac用户)

Mac与Linux操作指南:键盘快捷键包括复制(Command+C)、粘贴(Command+V)、剪切(Command+X);Linux中止操作为Control+C,退出后台Control+D。触控板操作:双指滑动可滚动页面,双指轻触为右键,单指拖拽需按住听到声音。三指上滑显示所有打开应用。应用管理:右上角搜索符号可查找应用,底部导航栏双指轻触退出当前应用。

#macos
使用python的pika链接rabbitMq断裂

只要是使用pyhon的pika都会出现这个问题,因为pika本身是没有心跳机制的(你用java的话是没问题的)比如我们执行一个很长的任务的时候,执行结束ack确认发现确认失败,mq都断了。解决方案,在代码里加入这一段,守护线程。让他定时发送心跳,这样就不会断开链接了。

文章图片
#rabbitmq#分布式
cdh zookeeper报错 Canary 测试建立与 ZooKeeper 服务的连接或者客户端会话失败。

我一直纳闷这个是什么问题,搜索了半天没有结果,因为别人没有遇到过。后面我重新搭建了另一套cdh,然后看了一下默认的配置,然后更新上去才发现的。改完zookeeper就启动成功了。

文章图片
#zookeeper#分布式#云原生
sox音频处理和ffmpeg评测

ffmpeg音频处理不如sox,ffmpeg切分,最低切分是0.1秒,而sox可以切分更小单位0.001这种。ffmpeg处理视频等功能更全。

文章图片
#音视频
hdfs权限问题chmod: changing permissions of ‘/user/hive/warehouse‘: Permission denied. user=root is not t

将某个用户,添加到,hdfs超级管理员组中。更新权限到hdfs文件系统。

#hdfs#hive#hadoop
hdfs和hive数据迁移后校验脚本

先谈论校验方法,本人腾讯云大数据工程师。

文章图片
#hive#hadoop#数据仓库
hive迁移后修复分区慢,怎么办?

二级分区:altertableXXaddpartition(etl_yn=2024,etl_mn=01);使用hive自带的修复分区命令(一般修复分区比迁移时间长一点),可能要花24小时。我有个30TB的分区表,客户给的带宽只有600MB,按照150%的耗时来算,大概要迁移17小时。改用addpartition后,1000个分区的表,10min内。Hive增量迁移:创建表结构+数据迁移(distc

文章图片
#hive#hadoop#数据仓库
    共 117 条
  • 1
  • 2
  • 3
  • 12
  • 请选择