logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从ELK到EFK日志管理架构的演进与实战部署

摘要: ELK(Elasticsearch+Logstash+Kibana)和EFK(Elasticsearch+Fluentd+Kibana)是两种主流的分布式日志管理方案。核心区别在于日志采集组件:Logstash功能强大但资源消耗高,适合传统环境;Fluentd轻量高效,更适合云原生场景,尤其在Kubernetes中作为DaemonSet部署优势明显。EFK架构通过Fluentd采集节点容器

#elk#架构
大模型有哪些算法

大模型(Large-scale Models)通常指参数量大、架构复杂、在特定任务或领域表现出色的深度学习模型。这些模型的算法核心往往基于Transformer 架构及其变体,同时结合了大规模数据、硬件加速和优化技巧。

文章图片
#算法#人工智能
多层神经网络(MLP)与卷积神经网络(CNN)的区别

多层神经网络(Multilayer Perceptron, MLP)与卷积神经网络(Convolutional Neural Network, CNN)是两种常用的神经网络结构,它们在设计理念、结构、应用场景和性能优化等方面有显著区别。通过理解这些区别,可以根据任务需求选择合适模型:若数据有显著的局部空间结构(如图像、语音),选择CNN;若数据是表格形式或无空间特征,则选用MLP或决策树等其他模型

文章图片
#神经网络#cnn#深度学习
数据挖掘(四) -----JupyterHub on k8s安装

本文介绍了在Kubernetes集群上部署JupyterHub的完整流程,包括环境准备、核心组件配置和部署步骤。主要内容包括:Kubernetes集群要求(1.14+版本、Helm工具等)、创建命名空间和服务账户、准备生产/测试环境配置文件、构建自定义Notebook镜像(集成Spark、Hail等生物信息学工具),以及使用Helm进行最终部署。部署架构包含JupyterHub Hub、HTTP代

#数据挖掘#kubernetes#人工智能
Kubernetes--在k8s中安装和使用kafka

Apache Kafka 作为当今最流行的分布式流处理平台之一,已被广泛应用于实时数据管道、事件驱动架构和流分析等场景。随着云原生技术的普及,在 Kubernetes 上运行 Kafka 已成为主流选择。本文将详细介绍在 2026 年 Kubernetes 环境中部署和管理 Kafka 集群的方案。

#kubernetes#kafka#容器
Kubernetes--k8s中部署redis数据库服务

本文介绍了在Kubernetes中部署Redis的多种方案。针对不同场景需求,提供了单实例、主从复制、Redis Cluster集群和企业级Operator四种核心部署方式。详细说明了每种方案的实现方法,包括原生YAML配置、Helm Chart快速部署以及企业级Operator管理。同时给出了Spring Boot应用连接不同Redis部署模式的配置示例,并针对开发测试、常规生产、大数据量等场景

#redis#kubernetes
kubernetes---CentOS7安装kubernetes1.11.2图文完整版

转载请注明出处:kubernetes—CentOS7安装kubernetes1.11.2图文完整版架构规划k8s至少需要一个master和一个node才能组成一个可用集群。本章我们搭建一个master节点和三个node节点。我们在生产环境中使用时k8s时可以适当增加节点。我们有三台服务器,ip和身份规划如下:192.168.11.90masternode19...

#k8s#kubernetes
数据仓库(十)---分布式SQL查询引擎---presto安装部署和连接hive使用

我们在上一章已经了解了presto的简介,本章进行部署和使用。官网教程https://prestodb.io/docs/current/installation.htmlhttp://prestodb-china.com/docs/current/installation/deployment.html (京东版本)https://teradata.github.io/presto...

#hive
数据仓库(十三)--java--presto---SpringMVC使用presto查询hive

我们在之前的文章中已经学习过了presto的安装部署和连接hive使用。 并且在cli命令界面中进行了操作。数据仓库(十)—分布式SQL查询引擎—presto安装部署和连接hive使用不过我们最终的应用场景肯定是在可视化web中进行查询分析,所以有必要在web的框架中使用presto对hive进行查询。因为我们一直用的比较多的都是SpringMVC框架,所以在这个基础上进行配置使用。...

数据仓库(七)---hive的性能优化---hive的分区和分桶

我们本章进行hive的优化学习分区和分桶。hive分区背景1、在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表,需要在create表的时候调用可选参数partitioned by,...

#hive#性能优化
    共 86 条
  • 1
  • 2
  • 3
  • 9
  • 请选择