logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Spark - Code 核心教程

RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是 Spark 中最基本的数据处理模型。代码中是一个抽象类,它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。➢ 弹性存储的弹性:内存与磁盘的自动切换;容错的弹性:数据丢失可以自动恢复;计算的弹性:计算出错重试机制;分片的弹性:可根据需要重新分片。➢ 分布式:数据存储在大数据集群不同节点上➢ 数据

文章图片
#spark#大数据#分布式
(第十一篇)spring cloud之Bus消息总线

Spring Cloud Bus是用来将分布式系统的节点与轻量级消息系统链接起来的框架,它整合了Java的事件处理机制和消息中间件的功能。Spring Clud Bus目前支持RabbitMQ和Kafka。Spring Cloud Bus能管理和传播分布式系统间的消息,就像一个分布式执行器,可用于广播状态更改、事件推送等,也可以当作微服务间的通信通道。官方文档。

文章图片
#spring cloud#spring#后端
LangcChain4J - Java必备技能

LangChain4j 的目标是简化将大型语言模型集成到 Java 应用中官网地址文档地址@AiService官网地址低阶api有最多的选择,可以使用所有底层组件,比如ChatModel等。这些是基于LLM的应用中的“primitives”。可以完全控制组合它们,但需要写更多的代码。Embedding高阶api在程序员自己定义接口,通过AiServices类里面的方法实现,优点是Api封装度较高,

文章图片
#java#开发语言
Hadoop2 - HDFS高可用

所谓HA(high available)就是24小时不中断服务,实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。NameNode主要在以下两个方面影响HDFS集群:NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启NameNode机器需要

文章图片
#hdfs#hadoop#大数据
(第十四篇)spring cloud之Nacos

Nacos(Dynamic Naming and Configuration Service)是阿里巴巴开源的动态服务发现、配置管理和服务管理平台,致力于帮助开发者快速构建云原生应用Nacos。它源自阿里内部十年技术沉淀,历经双十一高并发场景验证,支持百万级服务实例,兼容主流微服务框架(Spring Cloud、Dubbo 等),是国内微服务生态的核心组件之一。其中包含了注册中心和配置中心等核心模

文章图片
#spring cloud#spring#后端
Hive - 安装与使用

(1)hive 简介Hive:由 Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并 提供类 SQL 查询功能。(2) Hive 本质:将 HQL 转化成 MapReduce 程序(1)Hive 处理的数据存储在 HDFS(2)Hive 分析数据底层的实现是 MapReduce(3)执行程序运行在

文章图片
#hive#hadoop#数据仓库
(第二篇)spring cloud之Eureka注册中心

在服务注册与发现中,有一个注册中心。另一方(消费者|服务提供者),以该别名的方式去注册中心上获取到实际的服务通讯地址,然后再实现本地RPC调用RPC远程调用框架核心设计思想:在于注册中心,因为使用注册中心管理每个服务与服务之间的一个依赖关系(服务治理概念)。Eureka Server提供服务注册服务:各个微服务节点通过配置启动后,会在EurekaServer中进行注册,这样EurekaServer

文章图片
#spring cloud#eureka#spring
spring boot使用Scheduling实现动态增删启停定时任务

可以使用@EnableScheduling注解和@Scheduled注解实现简单的定时任务,也可以使用SchedulingConfigurer接口来实现定时任务。

文章图片
#spring boot#后端#java
SpringAI+Deepseek大模型应用实战

Spring AI是一个AI工程领域的应用程序框架;Spring AI 是 AI 工程的应用框架。其目标是将 Spring 生态系统设计原则(如可移植性和模块化设计)应用于 AI 领域,并促进使用 POJO 作为应用程序的构建块到 AI 领域。它的目标是将Spring生态系统的设计原则应用于 AI 领域,比如Spring生态系统的可移植性和模块化设计,并促进使用 POJO 作为应用程序的构建块到

文章图片
#人工智能
Hadoop2 - HDFS高可用

所谓HA(high available)就是24小时不中断服务,实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。NameNode主要在以下两个方面影响HDFS集群:NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启NameNode机器需要

文章图片
#hdfs#hadoop#大数据
    共 16 条
  • 1
  • 2
  • 请选择