logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flink standalone + ChunJun 写入 HDFS 之 Direct Buffer Memory OOM 排查与调优

摘要 Flink 1.16.1集群运行ChunJun同步任务时出现Direct buffer memory OOM问题,主要发生在向HDFS写入Parquet格式文件时。根本原因是默认配置下Direct Memory分配不足:网络缓冲区和框架占用了全部2688m的MaxDirectMemorySize,导致Parquet/Snappy压缩时无法分配所需内存。低吞吐任务因GC及时回收可勉强运行,而高

#flink#hdfs#大数据
解决 Nginx 上传文件返回 403 或 500 的权限问题:client_body_temp 目录不可写

摘要 Nginx 处理大文件上传时返回 403 错误,实际是因临时目录权限不足导致。错误日志显示 Nginx 无法写入 client_body_temp 目录,也无法访问错误页面。根本原因是编译时指定的 --prefix 路径 /home/nginx/nginx_temp 权限配置不当,导致 worker 进程无法写入临时文件。解决方案包括修复目录权限或显式配置 client_body_temp_

#nginx#运维
人脸识别seetaface6做成spring boot项目

spring boot 人脸识别基于seetaface6SDK(https://gitee.com/crazy-of-pig/seeta-sdk-platform.git)将各种人脸识别器配置成spring bean 做成spring boot项目。人脸识别,seetaface6, spring boot, 对象池

人脸识别seetaface6做成spring boot项目

spring boot 人脸识别基于seetaface6SDK(https://gitee.com/crazy-of-pig/seeta-sdk-platform.git)将各种人脸识别器配置成spring bean 做成spring boot项目。人脸识别,seetaface6, spring boot, 对象池

seetaface6JNI ,windows和linux环境自适应,支持GPU

本项目是基于seetaface6源码编译后,再编译seetaface6JNI源码得到的一个sdk项目windows和linux环境自适应。支持GPU使用方便:(1)导入jar包;(2)配置模型文件路径即可使用;无需自己配置dll,so这些东西。

#linux#java#运维
人脸识别seetaface6做成spring boot项目

spring boot 人脸识别基于seetaface6SDK(https://gitee.com/crazy-of-pig/seeta-sdk-platform.git)将各种人脸识别器配置成spring bean 做成spring boot项目。人脸识别,seetaface6, spring boot, 对象池

到底了