logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据技术---流计算(Storm)

一、流计算概述流数据:实时产生的数据,并且实时不断地像流水一样到达。流数据特征:1、数据快速持续到达,潜在大小也许是无穷无尽的。2、数据来源众多,格式复杂。3、数据量大,但是不是十分关注存储,一旦经过处理,要么被丢弃,要么被归档存储。4、注重数据的整体价值,不过分关注个别数据。5、数据顺序颠倒,或者不完整,系统无法控制将要处理的新到达的数据元素的顺序。数据类型:静态数据和流数据(动态计算)。流计算

#storm#kafka#big data +1
高并发系统设计细节

关键指标:响应时间、QPS(每秒查询数)、TPS(每秒处理的事务数)、成功率。根据不同的业务场景,平衡各个指标之间的关系。响应时间:当用户在2秒内得到响应,会感觉系统的响应很快;当用户在2~5秒内得到响应,会感觉系统的响应速度很慢,可以接受;当用户超过8秒仍不能得到响应,会感觉系统很糟糕,此时会选择离开站点或者发起二次请求。SLA:服务登记协议,服务提供者对服务消费者的正式承诺,是衡量服务能力等级

大数据技术---云数据库

一、云数据库概述云计算:通过网络以服务的方式为用户提供非常廉价的IT资源。元计算的八大优势:(1)按需服务(2)随时服务(3)通用性:满足各种不同的用户需求(4)高可靠性:集群中有机器出现故障时,会有一定机制启用备用机器。(5)极其廉价(6)超大规模:带宽、CPU、内存、磁盘等资源予取予求。(7)动态可扩展性(8)高可用性云数据库在云环境中提供这样的数据库服务。腾讯云数据库和自建数据库的比较:云数

#big data#数据库#sqlite
大数据技术概述

一、大数据技术概述1、大数据概述google技术:典型的计算模式:1、批处理模式:MapReduce2、流计算:实时处理,给出实时响应3、图计算4、查询分析计算2、云计算:虚拟化:2、物联网物联网:物物相连的互联网。物联网的层次架构:物联网的关键技术:1、 识别技术如:二维码2、感知技术如:公交卡二、Hadoop1、简介Hadoop是Apache软件基金会旗下的开源软件。可以支持多种编程语言。Ha

#hadoop#big data#spark
大数据技术---流计算(Storm)

一、流计算概述流数据:实时产生的数据,并且实时不断地像流水一样到达。流数据特征:1、数据快速持续到达,潜在大小也许是无穷无尽的。2、数据来源众多,格式复杂。3、数据量大,但是不是十分关注存储,一旦经过处理,要么被丢弃,要么被归档存储。4、注重数据的整体价值,不过分关注个别数据。5、数据顺序颠倒,或者不完整,系统无法控制将要处理的新到达的数据元素的顺序。数据类型:静态数据和流数据(动态计算)。流计算

#storm#kafka#big data +1
到底了