logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

centos7国内docker安装以及docker-compose安装

VERSION_STRING替换成 上面list出来的版本(如18.03.1.ce-1.el7)有了docker-compose就可以1条命令启动多个容器,不需要在手动写shell。docker pull httpd命令测试。替换前缀,指定拉取国内镜像源(单行方案)指定国内镜像源地址(永久方案)docker info命令测试。查看卸载过去的,若有,先备份。找到国内docker镜像源。更新配置,重启

#docker#容器#运维
K8s部署,新版本

之前部署的老版本,发现写的挺辣g,之前发布的资源也已经过期了。所以算是这篇()的升级版本。

#kubernetes#容器#云原生
容器访问某个链接中断后面又正常,socket

摘要: 在K8s集群压测HBase服务时发现间歇性断连问题。排查发现Pod资源未耗尽且本地ECS访问正常,最终定位为K8s Pod的TCP连接数达到27k上限且TIME-WAIT状态连接未释放。通过调整内核参数解决:启用tcp_tw_reuse加速端口复用、缩短tcp_fin_timeout至30秒,并关键设置tcp_max_tw_buckets=5000限制最大TIME-WAIT连接数。解决方案

#kubernetes#docker#容器
腾讯云大数据实时数仓,总结记录

支持流批一体,简化链路,读写分离,都在同一个数仓里,里面支持读写和sql分析。进行数据回溯时,需要重新读取日志,对于经常改变的复杂性的需求不适合。mpp(大规模并行处理)-秒:presto、impala。列存-毫秒:clickhouse、doris。kappa架构:纯流式,架构简单,不适合回溯。游戏:实时交易,用户行为实时推荐,运营监控。lakehouse:数据湖+数仓(技术新)广告:ADX实时竞

#大数据
spark介绍

Spark Standalone 是 Spark 原生集群模式,无需依赖第三方资源管理器,包含 Master 节点管理集群资源、Worker 节点执行任务,部署简单,适合中小规模数据处理场景。Spark Standalone 的工作节点,接收 Master 分配的资源调度,启动 Executor 执行 Task,汇报节点资源使用状态,是实际承载数据计算的核心节点。/tmp/spark-event是

#spark#大数据#分布式
在spark集群上在部署一套spark环境,不要影响过去环境

有这种需求,比如舍不得开资源。A工具,需要spark环境,但是A是spark3.1,B工具,需要spark环境,但是B是spark3.4。那这样咋搞,于是就有了这种情况。curl localhost:8090试一下,没问题了就下一步。jps一下,然后登录到windows机器访问一下这个ui。上面黑色部分填写自己的spark地址。其他的参考我的这篇部署。

#spark#大数据#分布式
若依,前后端分离项目,部署到服务器

若以的后端是8080。所以要把前端的地址改成请求8080接口。在本地是dev环境,默认是80端口,所以可以不写,他会自动映射,但是放到服务器要改。然后去ruoyi-admin拿到这个包,java -jar ruoyi-admin.jar就可以了。在服务器上nginx对应的文件夹中,创建一个html文件夹,将dist的内容放到文件夹中。一定要选择root的ruoyi,他会把你自动打包其他模块的依赖。

文章图片
#服务器#运维
hive数据迁移

bandwidth100-m100代表每个map传送的宽带是每秒100mb,-m指的是启动100个map。同步方式很多,导出sql,用工具navicat,同步脚本。hive有2种表方式,磁盘和关系型数据库,一般我们都是用mysql,2者操作一样。hive有2种存储方式,存磁盘或者hdfs,2者操作一样,磁盘就scp过去。然后进入迁移后的表,迁移数据后,进入hive在将这个建表sql建立一下。,那么

文章图片
#hive#hadoop#数据仓库
neo4j指定图数据库显示指定属性-图形化界面

我现在【想】显示图的product属性,默认显示的是package的属性操作步骤1.点击左上角指定的节点2.选择指定的属性3.完成

#neo4j
大数据医疗数据数仓建模

本人想成为某个领域的数据专家,因为自己喜欢生物,所以想成为医疗方面的专家,医疗他会长久不衰,只要人类还在,那么这个行业就一直存在。但是我意识到一个问题,如果发生战争了互联网不能用了,信号被中断了,停电了。你如果只有孩子的信息,但是做检验的却是它的母亲,所以得做关联。假如一个身高,一个是164cm一个是1600毫米,1.6米,这种就不能分析了。我软件专业的,职业是大数据工程师,投的都是医疗行业,发现

文章图片
#大数据
    共 91 条
  • 1
  • 2
  • 3
  • 10
  • 请选择