logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hadoop3.2.1版本的环境搭建

最近有人提出能不能发一些大数据相关的知识,No problem ! 今天先从安装环境说起,搭建起自己的学习环境。Hadoop的三种搭建方式以及使用环境:单机版适合开发调试;伪分布式适合模拟集群学习;完全分布式适用生产环境。这篇文件介绍如何搭建完全分布式的hadoop集群,一个主节点,两个数据节点。先决条件准备3台服务器虚拟机、物理机、云上实例均可,本篇使用Openstack私有云里面的3个实例进行

#hadoop
SSD优化:反应更快、不卡顿的底层软件技术

极简优雅:没用复杂的AI模型,仅用极简规则就解决了行业难题。实用落地:对Linux内核改动极小(仅修改9个文件,新增1224行代码),具备直接合入Linux主线内核的潜力,能让整个操作系统生态受益。普适性强:无需针对不同SSD手动调参,无论是企业级还是消费级SSD,都能自动获得性能提升和稳定性改善。总而言之,DPAS技术通过一套“自动感应、动态切换”的智能指挥系统,让超快SSD的硬件性能得以充分释

#人工智能
KV缓存管理演进总结

AI推理中的KV缓存管理演进:从连续分配到统一内存 AI推理部署面临的核心挑战是KV缓存(工作记忆)的高效管理,其显存占用往往超过模型权重本身。文章梳理了KV缓存管理的五个发展阶段: 连续分配(2017):简单但内存浪费严重 分页注意力(2023):借鉴操作系统分页思想,显著提升并发能力 异构缓存(2024):支持多模态等复杂场景 分布式缓存(2025+):突破单机限制 统一混合内存(2025+)

#AI#AIGC#人工智能
flink实时数据问题记录解决

数据倾斜无论是在离线还是实时中都会遇到,其定义是:在并行进行数据处理的时候,按照某些key划分的数据显著多余其他部分,分布不均匀,导致大量数据集中分布到一台或者某几台计算节点上,使得该部分的处理速度远低于平均计算速度,成为整个数据集处理的瓶颈,从而影响整体计算性能。造成数据倾斜的原因有很多种,如group by时的key分布不均匀,空值过多、count distinct等,本文将只介绍group

文章图片
#flink
centos8配置网络

centos安装后配置网络连接:测试: ping www.baidu.com如果不成功 则需要配置网络:目录一 修改配置文件二 重启网络服务centos8已经发布了,下载了一个体验一下,新安装好的centos8默认网卡是没有启动的,安装好后需要先配置网络。在/etc/sysconfig/network-scripts目录下存放着网卡的配置文件,文件名称是ifcfg- 网卡名称。一 修改配置文件设置

#网络#linux#centos
oracle报错:ORA-01839: date not valid for month specified(指定月份的日期无效)

场景日期值存的是10位字符串,如2020-02-01,sql筛选时需要选1年以内的。select * from t_userwhereto_date(app_date ,'yyyy-MM-dd') > sysdate-360123查看日志发现报错:ORA-01839: date not valid for month specified解决方案这个问题一般是因为该日期不存在,所以解析的时候失

idea新建一个springboot项目

本文分为几个部分,首先是在idea中新建项目,然后是配置 项目的目录(新建controller、service、dao等),然后是自定义的一些工具类(比如启动后打印地址等)。

文章图片
#spring boot#后端#java +1
springboot's mybatis 模糊查询

在学习MyBatis过程中想实现模糊查询,可惜失败了。后来上百度上查了一下,算是解决了。记录一下MyBatis实现模糊查询的几种方式。  数据库表名为test_student,初始化了几条记录,如图:      起初我在MyBatis的mapper文件中是这样写的:<select id="searchStudents" resultType="com.exam...

Scala的pom.xml

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.

#spark#scala
springboot 启动报错Field XXX required a bean of type XXX that could not be found.

今天自己搭建springboot项目,连接数据库,启动的时候发现报错,如下:Error starting ApplicationContext. To display the conditions report re-run your application with 'debug' enabled.2018-06-08 14:28:58.065 ERROR 4656 --- [...

#java
    共 169 条
  • 1
  • 2
  • 3
  • 17
  • 请选择