
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
1 文件系统的基本概述文件系统定义:文件系统是一种存储和组织计算机数据的方法,它使得对其访问和查找变得容易。文件名:在文件系统中,文件名是用于定位存储位置。元数据(Metadata):保存文件属性的数据,如文件名,文件长度,文件所属用户组,文件存储位置等。数据块(Block):存储文件的最小单元。对存储介质划分了固定的区域,使用时按这些区域分配使用。2 HDFS的概述HDFS(Hadoop Dis
RocketMQ 是一个来自阿里巴巴的分布式消息中间件,于 2012 年开源,并在 2017 年正式成为 Apache 顶级项目。2017 年 2 月 20 日,RocketMQ 正式发布 4.0 版本。差不多 5 年之后,我们终于等来了 5.0 版本。RocketMQ 5.0 专注于消息基础架构的云原生化演进,聚焦在消息领域的后处理场景,支持消息的流式处理和轻计算,帮助用户实现消息的就近计算和分
大家好,我是老三,最近裸辞了,在面试。前两天一个面试,只面了十分钟就结束了——事情是这样的:面试官:你能说说HashMap的数据结构吗?老三:数组+链表+红黑树,阿巴阿巴……面试官:那你说说红黑树的查找复杂度是多少?老三:O(logn)。面试官:那这个复杂度的底数是多少?老三:时间复杂度O(logn)有底数?面试官:没有吗?尬住……面试官:那你再说一下快速排序的时间复杂度?底数是多少?老三露出智(
1. Kafka文件结构Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端,且每条数据都有自己的 offs
在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。HDFSHDFS(Hadoop Distributed File System)是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的
前面文章我们提到,如果数据量比较大的话,我们需要对数据进行分库分表,分完之后,原本存在一个数据库中的数据,现在就存在多个数据库中了,就像下面这样:那么此时 MyCat 所扮演的角色就是分布式数据库中间件!MyCat 是一个开源的分布式数据库中间件,它实现了 MySQL 协议,在开发者眼里,他就是一个数据库代理,我们甚至可以使用 MySQL 的客户端工具以及命令行来访问 MyCat 。MyCat 现
1、传统暴力求解方法的局限性。在地理空间搜索这块,我们会常常遇到一个问题,假设我们知道了一个地点经纬度信息,我们如何检索它附近10km以内的所有的点,假设我们是用关系数据库mysql来存放的,数据库里大概有40万条数据。我们能够直觉想到的是利用球面距离公式,直接求解该地点与所有地点的距离,然后根据计算结果再进行筛选,这时候我们发现该方法的复杂度为要执行40万 * 距离函数,随着数据库地点数据的增加
一、什么是空间数据库PostGIS是一个空间数据库,Oracle Spatial和SQL Server(2008和之后版本)也是空间数据库。但是这意味着什么?是什么使普通数据库变成空间数据库?简短的答案是...空间数据库像存储和操作数据库中其他任何对象一样去存储和操作空间对象。下面简短介绍了空间数据库的发展,然后回顾了将空间数据与数据库关联起来的三个要素:数据类型、索引和函数空间数据类型、空间索引
ECS实例复制完成后,在支持多可用区的地域创建负载均衡SLB实例,用于跨可用区挂载ECS实例,扩展应用系统对外服务能力、消除单点故障,提升应用系统的可用性。本文介绍SLB实例的部署方法。注意 若Web服务未运行,则SLB实例与ECS实例之间无法正常通信。说明 为避免影响业务,需保证源实例IP地址不变。因此,需要先将源实例的公网IP转换为弹性公网IP,与源实例解绑后,再将其绑定至高可用版SLB实例上
机器学习三要素包括数据、模型、算法。简单来说,这三要素之间的关系,可以用下面这幅图来表示:总结成一句话:算法通过在数据上进行运算产生模型。下面我们先分别来看三个要素。1. 数据关于数据,其实我们之前已经给出了例子。源数据上一篇中,图1老鼠和其他动物和图2小马宝莉六女主就是现实中的两份样本集合。如果我们要训练“老鼠分类器”,或者做“小马种族聚类” 分析的话,它们就是原始数据(Raw Data)。不过







