logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

nginx强制使用https访问(http跳转到https)

需求简介基于nginx搭建了一个https访问的虚拟主机,监听的域名是test.com,但是很多用户不清楚https和http的区别,会很容易敲成http://test.com,这时会报出404错误,所以我需要做基于test.com域名的http向https的强制跳转我总结了三种方式,跟大家共享一下  nginx的rewrite方法 思路这应该是大家最容易想到的方法...

hive权限管理

《Hive编程指南》第18章 安全有相关内容可参考。环境:HDP2.4 ,hive-1.2.0, ambari统一管理目前hive支持简单的权限管理,默认情况下是不开启,这样所有的用户都具有相同的权限,同时也是超级管理员,也就对hive中的所有表都有查看和改动的权利,这样是不符合一般数据仓库的安全原则的。下面来介绍HIVE的权限管理。Hive用户1. Hive作为表存储层。    使用对象:Hiv

hbase压测

hbase压测,通过自带集成的工具PerformanceEvaluation的全名org.apache.hadoop.hbase.PerformanceEvaluation,可以在有命令行都服务上hbase pe执行参考链接:HBase——PerformanceEvaluation(压测工具) - 曹伟雄 - 博客园随机写压测hbase pe --table=randomwriteTest --n

#hbase#hadoop#big data
Elasticsearch启动https访问

Elasticsearch上操作前提:已设置密码访问前提:已设置密码访问./bin/elasticsearch-certutil ca # 生成elastic-stack-ca.p12文件./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 # 生成elastic-certificates.p12文件,供elasticsearch使

#elasticsearch#https#ssl
jira+confluence+openldap+ssp整合配置

网上查查了很多openldap教程,都比较旧的,我这更新一版。搭建的文档网上很多,搭建可以参考,配置的时候,遇到问题比较耗时的是,jira和openldap的用户信息同步,主要ldap的配置比较灵活,随意性大,如果和jira中的配置不匹配,无法自动过滤到ldap中的key,是无法匹配到用户信息的。jira和wiki类似,其中一个配置通了,另外一个也按照一样配置。完成之后jira和wiki之间建立应

hive锁表解决

查询是否锁表show locks ;发现表(fact_hz_zlfa)被锁,临时解决方案 对表解锁unlock table fact_hz_zlfa ;解决方案:find / -name hive-site.xml 关闭锁机制:set hive.support.concurrency=false; 默认为true  hive lock...

hive中合理使用union all与multi insert

对同一张表的union all 要比多重insert快的多,原因是hive本身对这种union all做过优化,即只扫描一次源表;而多重insert也只扫描一次,但应为要insert到多个分区,所以做了很多其他的事情,导致消耗的时间非常长;希望大家在开发的时候多测,多试!lxw_test3 12亿左右记录数Union all : 耗时7分钟左右    cr...

ClassNotFoundException: org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver解决办法

我们通过源码编译的spark-2.3.0来启动spark-sql进行sql操作,结果出现如下错误:Spark assembly has been built with Hive, including Datanucleus jars on classpathjava.lang.ClassNotFoundException: org.apache.spark.sql.hive.thriftse...

利用谷歌开源工具cAdvisor 结合influxdb存储+Grafana前端展示进行Docker容器的监控

1.cAdvisor (Container Advisor)该程序是由Google 开源的一个项目。提供了给使用容器的用户对其主机上运行容器的资源使用情况和性能的了解,它是一个以容器方式运行的守护进程,用来数据采集、汇聚、可视化和导出运行中容器的信息。具体来说,对于每个容器,它保留资源的隔离参数,历史资源使用,完整历史资源使用的直方图,和网络统计。此数据由机器上的容器输出。2.InfluxDB(官

利用谷歌开源工具cAdvisor 结合influxdb存储+Grafana前端展示进行Docker容器的监控

1.cAdvisor (Container Advisor)该程序是由Google 开源的一个项目。提供了给使用容器的用户对其主机上运行容器的资源使用情况和性能的了解,它是一个以容器方式运行的守护进程,用来数据采集、汇聚、可视化和导出运行中容器的信息。具体来说,对于每个容器,它保留资源的隔离参数,历史资源使用,完整历史资源使用的直方图,和网络统计。此数据由机器上的容器输出。2.InfluxDB(官

    共 31 条
  • 1
  • 2
  • 3
  • 4
  • 请选择