中小型企业大数据体系建设的核心技术选型
·
本文围绕中小企业大数据项目实践，从技术栈与工程经验展开。
一、技术栈概览
大数据是海量数据量级增大后传统手段失效的产物。核心组件包括：
存储：HDFS为工业标准，分块多机备份；AWS S3常用但HDFS不适合海量小文件。
计算：Spark已成主流，中间数据驻留内存，速度快于MR。
资源调度：Yarn或Mesos负责均衡CPU/内存。
数据收集：Kafka做流式缓冲，Spark Streaming准实时处理；Flume收集日志。
一致性：ZooKeeper保障集群高可用。
二、工程实践（App日志分析）
日志存于AWS S3，Spark直接读取坑多，建议用官方驱动或离线下载。ETL将原始日志转为结构化数据存入MongoDB（保留近期数据、支持快速检索）。通过MongoSpark高效集成。
分析层面：宏观统计（分时活跃量）用map操作；微观分析按用户分组；机器学习采用Kmeans聚类进行用户分群；推荐系统用协同过滤（MLlib实现）。任务调度采用Azkaban管理依赖与定时。
三、实践经验
架构需结合业务定制，避免生搬硬套；合理设计多级ETL实现数据复用；确保任务依赖配置准确；提高集群负载，按需选择按量付费；调大Spark工作节点内存；批量调用HTTP API减少开销；基于日志分析保持平台松耦合。
四、结语
中小企业日日志量多为千万级，若闲置单机（16G内存+双核）足够，离线计算可不依赖集群，需因地制宜选择方案。
更多推荐
6
0- 0
已为社区贡献19条内容
所有评论(0)