logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Linux命令 ifconfig ethtool ip iperf3 网络查看常用命令 查看是否丢包 网络带宽测试工具

1.ifconfig使用ifconfig命令,ifconfig是最常用的配置和查看网络接口信息的命令,服务器上执行此命令会得到类下文的内容,一下内容可看到多个设备和设备状态、信息。# 不包括down状态的网卡ifconfig#查看所有网卡的信息(包括down状态的网卡)ifconfig -a# 查看指定网卡的信息 enp4s0是网卡名字 可以通过ethtool命令查看ifconfig enp4s0

#linux
Linux Shell wait命令 多线程 kill超时进程

1.介绍(1)等待作业号或者进程号的退出(和&命令搭配使用),返回最后一个作业或进程的退出状态。如果没有指定参数,则等待所有子进程的退出,其退出状态为0.(2)如果是shell中使用wait,不会等待shell函数中调用的后台进程。在shell函数中使用wait,则只等待函数中启动的后台进程。(3)在shell中使用wait命令不跟参数,相当于是多线程,等待全部线程执行完毕才执行后续命令。

#linux
Greenplum 6.0 新特性介绍 pg的内核升级

1.特性总结Greenplum 6在升级PostgreSQL内核至9.4版本的同时,增加了大量新特性,包括基于WAL日志的mirror同步、分布式死锁检测、复制表、在线扩容、磁盘限额、自动master切换、zStandard压缩、GP-GP集群间高效查询等。pg的内核版本从8.3升级到了9.4关键更新:复制表集群在线扩容跨集群查询磁盘配额管理Zstd压缩更多的K8S支持OLTP操作性能提高轻量级锁

#数据库#数据仓库
Kafka 验证部署(单机版)kafka-producer-perf-test.sh 吞吐量测试工具的基本使用

1.测试topic创建与删除(1)创建一个测试topic,名为test-topic。创建3个分区,每个分区分配1个副本(因为是单机kafka,如果是集群的话可以分配多个副本),如果分配的副本数大于broker的数量时,会报错bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic test-topic --partitions

#kafka#大数据
PostgreSQL(三) 内存参数优化和原理(work_mem)内存表 pgfincore插件使用方法

1.常用内存参数1.1 shared_buffersshared_buffers是PostgreSQL用于共享缓冲区的内存,是由8kb大小的块所形成的数组。PostgreSQL在进行更新、查询等操作时,首先从磁盘把数据读取到内存,之后进行更新,最后将数据写回磁盘。shared_buffers可以暂时存放从磁盘读取的数据,能够让用户下次访问不需要去磁盘直接从里面读取出来,增加查询效率。shared_

#postgresql#数据库
Kafka topic常用命令 查看 创建 修改 彻底删除topic(删除数据目录和在zk上的信息)

1.创建topic命令格式:注意空格./kafka-topics.sh --create --topic topic名称--partitions分区数--replication-factor备份数--zookeeperZooKeeper的任意一个节点或者全部的IP:Port/kafka示例:./kafka-topics.sh --zookeeper 192.168.61.102:24002,192

#kafka#大数据#linux
Hive(一) 简单介绍 功能 优缺点

1.Hive概述Hive是基于Hadoop的开源的数据仓库框架,提供了一种类SQL的语言HQL来处理数据,使熟悉SQL的用户能查询数据。其原理是将HiveQL转换为MapReduce任务,从而完成海量数据的查询和分析。HiveQL能通过实现用户自定义函数(UDF)、用户自定义聚合函数(UDAF)、用户自定义表函数(UDTF)进行扩展。基于Hadoop,Hive具有以下特点:易于进行数据抽取、转换和

#数据仓库#hive
Linux命令 lscpu 查看cpu核数 cpu实时频率

1.核数和逻辑CPU计算公式核数 = 物理CPU个数 * 每颗物理CPU的核数逻辑CPU数 = 物理CPU个数 * 每颗物理CPU的核数 * 超线程数2.查看核数命令(1)查看物理CPU个数grep "physical id"/proc/cpuinfo | sort | uniq| wc -l2(2)查看每个物理CPU中core的个数(即核数)grep "cpu cores" /proc/cpui

#linux
HBase 系统架构 HMaster、RegionServer

1.整体架构HBase系统架构由Client、Zookeeper、HMaster、RegionServer、Region、Store、HLog、HDFS等部件组成。HBase存储结构图如下:2.Client使用HBase RPC机制(远程)与HMaster和HRegionServer进行通信。Client 与HMaster进行管理类操作;Client 与HRegionServer进行数据读写类操作

#hbase#大数据#hadoop
Linux命令 iostat 监控磁盘操作 安装 使用 参数介绍

1.含义iostat是I/O statistics(输入/输出统计)的缩写,iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况,同时也会汇报出CPU使用情况。但是也存在缺点,不能对某个进程进行深入分析,只能对系统的整体情况进行分析。2.语法iostat [参数] [时间] [次数]ps:yum命令安装iostat命令,如下:yum -y install sysstat3

#linux
到底了