logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

分布式服务组件zookeeper

分布式系统是什么分布式系统:一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统这是分布式系统,在不同的硬件,不同的软件,不同的网络,不同的计算机上,仅仅通过消息来进行通讯与协调。这是他的特点,更细致的看这些特点又可以有:分布性、对等性、并发性、缺乏全局时钟、故障随时会发生。分布式系统带来的问题如果把分布式系统和平时的交通系统进行对比,哪怕再稳健的交通...

rpc框架dubbo总结

dubbo要解决的问题1、rpc调用需要定制。额外的工作量2、分布式服务中,服务动辄几十上百,相互之间的调用错综复杂,相互依赖严重3、对集群性的服务,需要负载策略4、对集群性的服务,能动态扩展节点注意:dubbo的扩展性相当好,使用了spi机制,比如,负载策略只有5种,我们可以自定义一种,然后实现dubbo的对应的负载接口即可使用,而整个dubbo的设计理念都是这样的。dubbo只能支...

大数据治理:数据安全

数据安全 (Data Security)一般指保护重要的、机密的纸质信息或数字信息,防止未经授权的非法访问、泄露、篡改、丢失、损坏、数据滥用等情形。数据安全涵盖的范围非常广泛,包括存储数据的硬件设备、访问数据的软件环境、访问权限控制、相关的规章制度等。说到数据安全,最常见的话题就是数据库安全和数据隐私。。有时还会加上问责制一同构成 CIA+A 四要素。CIA 三要素。

文章图片
#大数据#网络#服务器
使用SQLFlow从数据库中拉取数据分析

SQLFlow还支持从指定数据库中拉取表,视图,存储过程进行分析,获取data lineage。目前SQLFlow支持的数据库有:azure,greenplum,mysql,sqlserver,oracle,snowflake,netezza,postgresql,redshift,teradata连接数据库对数据库数据进行筛选参数的含义见官方文档: Grabit查看连接信息连接成功后可以查看输入

#数据库#sql
马哈鱼数据血缘关系分析工具处理CSV文件中的SQL

SQLFlow 作为一个分析数据血缘关系工具,通过对收集的 SQL 脚本或者其他格式包含 SQL 的文件分析得到 data lineage。目前支持获取 SQL 的方式:通过在线递交SQL 文本。连接指定数据库获取 metadata。上传本地文件目录从指定 git 仓库获取 SQL 脚本对于文件格式,目前支持 SQL 脚本,包含 metadata 的 JSON 文件,特定格式的 CSV 文件以及

#sql#数据库#python
大数据治理入门系列:数据质量

无论您是数据领域的专业人员,还是其他领域的非专业人士,也许都曾遇到过数据不完整、数据过时、数据不一致、数据不准确等问题。这些低质量的数据不仅没能解决最初的疑问,甚至还可能衍生出了其他问题。质量低劣的数据会影响数据分析结果,误导业务决策,造成经济或其他方面的损失,损害使用者的信心。因此,为了避免这类问题,组织机构有必要把控数据质量。数据质量也是的重要一环。。但从广义的层面而言,数据质量还可以包括定义

文章图片
#大数据#人工智能#python
大数据治理入门系列:数据治理

在信息经济时代,数据是企业的一大关键资产。为了制定科学、有效、合理的决策,企业需要收集大量的数据并进行各种数据分析,为决策提供依据。在此过程中,收集数据的速度、数据的质量和可靠性、对数据的分析过程、合适的分析工具等,都对最终决策具有显著影响。这些其实都属于数据治理的范围。

文章图片
#大数据#数据挖掘#人工智能
大数据治理入门系列:元数据管理

介绍元数据管理之前,首先需要了解什么是元数据。

文章图片
#大数据#数据库#java
大数据治理:数据安全

数据安全 (Data Security)一般指保护重要的、机密的纸质信息或数字信息,防止未经授权的非法访问、泄露、篡改、丢失、损坏、数据滥用等情形。数据安全涵盖的范围非常广泛,包括存储数据的硬件设备、访问数据的软件环境、访问权限控制、相关的规章制度等。说到数据安全,最常见的话题就是数据库安全和数据隐私。。有时还会加上问责制一同构成 CIA+A 四要素。CIA 三要素。

文章图片
#大数据#网络#服务器
windows下启动zookeeper闪退

问题在windows10下启动zookeeper闪退。解决首先在zk的解压后的文件的conf目录下,将zoo_simple.cfg重命名为zoo.cfg,然后在bin目录下,编辑zkServer.cmd文件,在最后一行加上pause,启动就不会一闪而过,便于查看错误信息。错误信息:于是打开zkEnv.cmd文件:发现是jdk环境变量未设置,所以设置环境变量:设置后再启动zk:...

    共 24 条
  • 1
  • 2
  • 3
  • 请选择