logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

单机部署hive(hive+hadoop)

本文详细介绍了在CentOS7虚拟机环境下单机部署Hive(集成Hadoop)的完整过程。主要内容包括:环境准备(系统升级、安装MySQL8和JDK8)、系统参数配置(文件描述符限制和SSH免密登录)、Hadoop集群配置与启动(core-site.xml和hdfs-site.xml配置)、Hive服务部署(环境变量设置、MySQL元数据配置、日志配置)以及初始化验证。特别解决了Hive与Hado

文章图片
#hive#hadoop#big data
微服务分布式事务

本文对比分析了分布式事务的常见方案与主流框架。方案方面,刚性事务(2PC/3PC/XA)适合强一致性场景但性能较差,柔性事务(TCC/Saga等)通过最终一致性实现高并发,还介绍了本地事务表、MQ事务消息等方案的特点与适用场景。框架方面,Seata因支持多种模式和无侵入AT特性成为Java生态首选,其他框架如Hmily、ByteTCC在特定场景下也有优势。技术选型需根据一致性要求、性能需求和开发复

文章图片
#微服务
Anolis23 环境下 Docker 与私有 Harbor 仓库完整部署指南

本文详细介绍在AnolisOS23系统中部署Docker并搭建私有Harbor仓库的全流程。主要内容包括:配置阿里云Docker镜像源以确保稳定安装;通过dnf安装Docker核心组件;可选配置代理服务以解决内网访问问题;设置非安全仓库访问权限;最后通过Docker Compose部署Harbor私有仓库。文中提供了详细的操作命令和配置参数说明,包括镜像源配置、代理设置、服务重启等关键步骤,适用于

文章图片
#docker#容器#运维
机器学习概念

机器学习三要素包括模型、策略和算法:模型定义假设空间(线性模型、神经网络等),策略通过损失函数评估模型性能,算法实现参数优化(梯度下降等)。关键数学基础涵盖线性代数、概率统计、微积分优化和离散数学。传统机器学习依赖特征工程,适用于结构化数据;深度学习自动提取特征,适合非结构化数据;强化学习通过环境交互优化决策。三种学习方式在数据需求、特征工程和计算资源方面存在显著差异。

文章图片
#机器学习#人工智能
大模型评估

文章摘要 大模型评估体系包含多维度标准与方法。评估标准分为通用维度和行业规范:通用维度涵盖基础能力、功能性、使用性能和安全性等;行业规范包括《大模型应用成熟度评估方法》等具体标准。评估方法主要有自动评测(Rule-based和Model-based)和人工评测,前者效率高适合大规模测试,后者准确性优适用于安全敏感场景。评估指标则根据任务类型分为语言模型基础指标、综合能力指标、分类任务指标和多模态指

文章图片
#人工智能
Serverless(无服务器架构):云计算时代的革命性执行模型

Serverless(无服务器架构)是一种云计算模型,开发者无需管理服务器,只需专注业务代码,由云平台自动处理资源分配和运维。其核心特征包括免运维、事件驱动和按需付费。Serverless广泛应用于传统应用优化、AI创新和金融科技等领域,具有成本效益高、快速迭代等优势。与FaaS(函数即服务)的关系上,Serverless是宏观概念,FaaS是其中计算层实现方式。当前主流开源框架包括Knative

文章图片
#serverless#云原生
深度解析K8s四大核心接口:CRI、CNI、CSI与OCI的设计精髓与实践逻辑

Kubernetes四大接口规范(CRI、CNI、CSI、OCI)构成了容器编排的核心技术底座。OCI定义了容器镜像与运行时的开放标准,CRI解耦K8s与容器运行时,CNI标准化容器网络配置,CSI统一存储接入方案。这些规范通过分层设计实现了基础设施与编排层的解耦,使K8s能够灵活兼容不同厂商的底层实现,同时保持生态一致性。从设计理念看,四大规范体现了Kubernetes"标准化扩展&q

文章图片
#kubernetes#容器#云原生
零基础部署K8s单节点集群:一键脚本实现快速落地

本文介绍了一个Kubernetes单节点集群的一键部署脚本,适用于Ubuntu等Debian系系统。脚本实现了全自动化部署流程,包括系统配置、旧环境清理、Containerd运行时安装、Kubernetes组件部署(v1.33.6)、Calico网络插件(v3.29.0)配置等。关键特性包含:自动关闭Swap、配置Harbor私有仓库认证、pause镜像预处理等。该脚本简化了K8s学习环境的搭建过

文章图片
#kubernetes#容器#云原生
从单节点到高可用:我是如何一步步搭建生产级K8s集群的

本文分享了在虚拟机上搭建Kubernetes高可用集群的实践过程,包括集群架构设计和部署脚本。集群采用HAProxy+3 Master+2 Node架构,使用containerd运行时和Calico网络插件。文章提供了三个关键脚本:HAProxy部署脚本(修复了启动问题)、K8s环境清理脚本和节点初始化脚本,帮助用户快速搭建生产可用的K8s集群环境。

文章图片
#k8s#云原生#容器
在K8s集群中部署Traefik并验证Python HTTP服务

本文记录了在3节点Kubernetes集群中部署Traefik作为Ingress Controller的实践方案。通过节点亲和性将Traefik调度到指定节点(ubuntu-111/112),采用hostNetwork模式直接绑定节点80/443端口。配置HAProxy作为外部负载均衡,实现对多个Traefik节点的代理和健康检查。部署过程包括:节点标签配置、Helm安装Traefik(版本3.x

文章图片
#kubernetes#python#http
    共 115 条
  • 1
  • 2
  • 3
  • 12
  • 请选择