在大数据时代背景下，如何采集出有用的信息已经是大数据发展的关键因素之一，数据采集可以说是大数据产业的基石。Flume作为开源的数据采集系统，受到了业界的认可与广泛应用。本文将带你了解Flume的基本架构以及使用案例等。01 Flume简介1.1 Flume是什么？Flume是Apache Software Foundation的顶级项目。它是一个分布式，可靠且可用的系统，主要用于高效地收集，聚合大

1、传统暴力求解方法的局限性。在地理空间搜索这块，我们会常常遇到一个问题，假设我们知道了一个地点经纬度信息，我们如何检索它附近10km以内的所有的点，假设我们是用关系数据库mysql来存放的，数据库里大概有40万条数据。我们能够直觉想到的是利用球面距离公式，直接求解该地点与所有地点的距离，然后根据计算结果再进行筛选，这时候我们发现该方法的复杂度为要执行40万 * 距离函数，随着数据库地点数据的增加

前面文章我们提到，如果数据量比较大的话，我们需要对数据进行分库分表，分完之后，原本存在一个数据库中的数据，现在就存在多个数据库中了，就像下面这样：那么此时 MyCat 所扮演的角色就是分布式数据库中间件！MyCat 是一个开源的分布式数据库中间件，它实现了 MySQL 协议，在开发者眼里，他就是一个数据库代理，我们甚至可以使用 MySQL 的客户端工具以及命令行来访问 MyCat 。MyCat 现

ECS实例复制完成后，在支持多可用区的地域创建负载均衡SLB实例，用于跨可用区挂载ECS实例，扩展应用系统对外服务能力、消除单点故障，提升应用系统的可用性。本文介绍SLB实例的部署方法。注意 若Web服务未运行，则SLB实例与ECS实例之间无法正常通信。说明 为避免影响业务，需保证源实例IP地址不变。因此，需要先将源实例的公网IP转换为弹性公网IP，与源实例解绑后，再将其绑定至高可用版SLB实例上

大数据文摘出品作者：Jay Alammar编译：张秋玥、毅航、高延、龙心尘嵌入（embedding）是机器学习中最迷人的想法之一。 如果你曾经使用Siri、Google Assistant、Alexa、Google翻译，甚至智能手机键盘进行下一词预测，那么你很有可能从这个已经成为自然语言处理模型核心的想法中受益。在过去的几十年中，嵌入技术用于神经网络模型已有相当大的发展。尤其是最近，其发展包括导致

一、什么是空间数据库PostGIS是一个空间数据库，Oracle Spatial和SQL Server(2008和之后版本）也是空间数据库。但是这意味着什么？是什么使普通数据库变成空间数据库？简短的答案是...空间数据库像存储和操作数据库中其他任何对象一样去存储和操作空间对象。下面简短介绍了空间数据库的发展，然后回顾了将空间数据与数据库关联起来的三个要素：数据类型、索引和函数空间数据类型、空间索引

kafka是apache开源的消息队列顶级项目之一，在大数据场景下使用较多，由linkedin开源，目前社区活跃，全球较多组织开始使用kafka来进行数据交换。RabbitMQ是流行的开源消息队列系统，用erlang语言开发。RabbitMQ是AMQP（高级消息队列协议）的标准实现。在实际生产应用中，通常会使用kafka作为消息传输的数据管道，rabbitmq作为交易数据作为数据传输管道，主要的取

目录0. 写在前面1.图灵平台介绍2. 图灵OS的建设背景3. 图灵OS 1.03.1 图灵OS 1.0介绍3.2 图灵OS 1.0遗留问题4. 图灵OS 2.04.1 标准化轻量级SDK4.2 算法插件化4.3 数据通道4.4 算法编排4.5 多模式集成4.6 图灵沙箱4.7 统一回放平台4.8 性能压测及调优5. 图灵OS 2.0建设成果5.1 算法研发流程5.2 图灵OS 2.0使用汇总6.

大数据文摘出品作者：Jay Alammar编译：张秋玥、毅航、高延、龙心尘嵌入（embedding）是机器学习中最迷人的想法之一。 如果你曾经使用Siri、Google Assistant、Alexa、Google翻译，甚至智能手机键盘进行下一词预测，那么你很有可能从这个已经成为自然语言处理模型核心的想法中受益。在过去的几十年中，嵌入技术用于神经网络模型已有相当大的发展。尤其是最近，其发展包括导致

机器学习三要素包括数据、模型、算法。简单来说，这三要素之间的关系，可以用下面这幅图来表示：总结成一句话：算法通过在数据上进行运算产生模型。下面我们先分别来看三个要素。1. 数据关于数据，其实我们之前已经给出了例子。源数据上一篇中，图1老鼠和其他动物和图2小马宝莉六女主就是现实中的两份样本集合。如果我们要训练“老鼠分类器”，或者做“小马种族聚类” 分析的话，它们就是原始数据（Raw Data）。不过