- @mnbvxiaoxin
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。后来，根据业务需要，我们有了两个Hadoop集群，并且部署在不同的地方（北京和西安），而所有的日志收集服务器在北京，因此需..
导读：这些年，大数据作为一个时髦概念，出现频率很高，关注度也很高。今天这篇文章，就让我们花5分钟的时间，来深入了解一下，到底什么是大数据。对于很多人来说，当他第一次听到“大数据”这个词，会自然而然从字面上去理解——认为大数据就是大量的数据，大数据技术就是大量数据的存储技术。但是，事实并非如此。大数据比想象中复杂。它不只是一项数据存储技术，而是一系列和海量数据相关的抽取、集成、管理、...
在Docker上使用大数据可以为强大的软件开发程序和绝佳机会铺平道路。这是业界人士需要知道的事情。大数据如今正在以巨大的方式改变着世界。大数据影响最大的领域之一是软件开发。越来越多的DevOps平台正在使用新的数据分析和机器学习工具来提高性能，Docker平台是其中之一。|| Docker使用大数据在软件开发中的作用越来越多的企业都对Docker产生了兴趣...
前言目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。基础概念大数据的本质一、数据的存储：分布式文件系统（分布式存储）二、数据的计算：分部署计算基础知识学习大数据需要具备Java知识基础及Linux知识基础学习路线（1）Java基础和Linux基础（2）Hadoop...
大数据行业前景看好，有很多朋友对大数据行业心向往之，却苦于不知道该如何下手，或者说学习大数据不知道应该看些什么书。作为一个零基础大数据入门学习者该看哪些书？就目前公司招聘和其他所了解到的大数据专业的工作内容，偏重方向和技术选型有所不同。挖矿老司机就不同职业学习的书籍进行了分类推荐。1.大数据工程师 在互联网公司广泛招聘，偏平台业务方向，ETL和OLTP等，主要是基于Had...
IT行业是最近10年的热点，那么IT行业中的热点又是谁呢？在当今的互联网时代相信没有哪个行业能够出ABC左右，所谓的ABC就是AI + Big Data + Cloud。当然，这三者中大数据的影响力可谓是最大，而且，随着大数据人才缺口的不断扩大，也使得其成为热点中的热点，而这也就促使很多人开始学习大数据开发，但是，对于学习大数据的人而言为何需要五个月的时间呢？大数据的学习其实并不只是单...
IT行业是最近10年的热点，那么IT行业中的热点又是谁呢？在当今的互联网时代相信没有哪个行业能够出ABC左右，所谓的ABC就是AI + Big Data + Cloud。当然，这三者中大数据的影响力可谓是最大，而且，随着大数据人才缺口的不断扩大，也使得其成为热点中的热点，而这也就促使很多人开始学习大数据开发，但是，对于学习大数据的人而言为何需要五个月的时间呢？大数据的学习其实并不只是单...
大数据行业前景看好，有很多朋友对大数据行业心向往之，却苦于不知道该如何下手，或者说学习大数据不知道应该看些什么书。作为一个零基础大数据入门学习者该看哪些书？就目前公司招聘和其他所了解到的大数据专业的工作内容，偏重方向和技术选型有所不同。挖矿老司机就不同职业学习的书籍进行了分类推荐。1.大数据工程师 在互联网公司广泛招聘，偏平台业务方向，ETL和OLTP等，主要是基于Had...
最近发现有些同学并不太了解大数据开发工程师这个职位，所以想简单介绍一下什么是大数据开发工程师，当前互联网公司的数据开发到底是什么样子的？和一般的Java或者PHP工程师在工作上有什么区别？什么不是大数据开发？仅使用数据库（关系型mysql，sqlserver，oracle等 非关系型 mongo redis等），尽管数据量达到千万级别，亿级别不是大数据开发。从业务系统的数据库中查询数据...