logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

mysql组合索引建立顺序及key_len计算规则

mysql多个字段建立组合索引时候,字段顺序可以随意,但最好是遵循一定顺序的,如索引(a,b,c)与(b,a,c)肯定不一样的,顺序不一样索引的效果也不一样,所以要计算其先后顺序。如表mc_k12_wechat_user_info有如下字段1、计算组合索引建立的顺序1、常用的字段放在最前面现在要建立组合索引(phone_number,provice),phone_numb...

由DUPLICATE引起的DeadlockLoserDataAccessException死锁

insert into student_sku (sku_id, sku_state, prom_id, prom_price, prom_state, start_time, end_time, create_time, update_time ) values (?, ?, ?, ?, ?, ?, ?, ?, ? ) ON DUPLICATE KEY UPDATE prom_id = ?, p

while loading shared libraries: /lib64/libgcc_s.so.1: file too short

由于项目需要,用到了openresty,安装完成在启动的时候出了个错误/usr/local/openresty/nginx/sbin/nginx: error while loading shared libraries: /lib64/libgcc_s.so.1: file too short于是查看是否为链接文件ls  -l /lib64/libgcc_s*,如下所示-rwxr-...

ElasticSearch常见避坑指南

在es中query查询如果不指定from-size值,es默认from=0,size=10,默认一次查询10条数据如下查询语句,11个唯一id查询,如果不指定from,size,只返回10条数据,而不是11条所以正确的查询是加上from=0,size=11,即指定预期的size。

#elasticsearch#大数据
Flink的数据持久化-CheckPoint机制

Flink内存易失,利用CheckPoint机制数据持久化,偏于出现异常,应用挂掉时,做数据恢复。所谓CheckPoint(可以理解为CheckPoint是把State数据持久化存储了)则表示了一个FlinkJob在一个特定时刻的一份全局状态快照,即包含了所有Task/Operator的状态。一、CheckPoint的原理Flink中基于异步轻量级的分布式快照技术提供了Checkpoints容错机

Yarn-NodeManager堆内存不足导致Container被杀

一、问题再现由于项目需要,采购电信天翼云,由于是新搭建的集群,在yarn上跑Spark任务时,每个几个小时或者半天出现节点丢失(Lost Nodes),访问http://cloudera01:8088,如下图,可以看到2个节点和集群失去了联系二、问题排查1、登录cm管理界面首先登录cm管理界面,去查看yarn的运行状况,看到2个NodeManager运行不良,点击不良链接...

nginx配置域名启用http2协议

HTTP1.1则在1999年才开始广泛应用于现在的各大浏览器网络请求中,同时HTTP1.1也是当前使用最为广泛的HTTP协议。HTTP/2在支持HTTP1.1的基础上拓展了, 较之1.1在性能上有着大幅度的提升。现在基本都主流浏览器都支持HTTP2协议,许多支持HTTPS的网站基本也都启用了HTTP2协议,若我们的域名配置了HTTPS证书,可以在nginx中配置启用HTTP2协议,加速网站响应..

解决Elasticsearch Connection reset by peer异常

随着ES的密集使用,线上环境,不同应用最近几天陆续有报java.io.IOException: Connection reset by peer异常,感觉不太正常。直接影响就是用户查询或者变更ES数据失败。

hive与presto解析json数组并拆分为多行

1。regexp_extract语法:regexp_extract(stringsubject, stringpattern, intindex)返回值:string说明: 将字符串subject按照pattern正则表达式的规则拆分,返回index指定的字符。第一参数:要处理的字段第二参数:需要匹配的正则表达式第三个参数:0是显示与之匹配的整个字符串1 是显示第一个括号里面的2 是显示第二个括号

#hive#json#big data
Spring下用Java导出CSV文件(java直接导出和第三方jar导出)

由于Csv格式简单,占内存少,生成的文件相对Excel小,可用各种编辑器打开等优点,导出类需求多用Csv格式之下并没有经过大数据量性能导出测试,若有大数据量级使用时可自行测试性能:Controller代码:@RequestMapping(value = "/export")public void getSkuList1(HttpServletResponse response){String[]

    共 38 条
  • 1
  • 2
  • 3
  • 4
  • 请选择