预计大数据行业将以每年 10% 的增长率 (CAGR) 增长。全球技术委员会曾写道,到 2025 年,大数据市场的收入将超过 1232 亿美元。全球信息技术支出达 2.7 万亿美元,其中大数据占 7.5%。这些重要的价值导致了几个问题,为什么大数据市场增长如此迅速?驱动力是什么?我将在这篇简短而温馨的文章中解决这些问题,并阐明我们今天在这个数据驱动的生态系统中面临的挑战!

照片由 Markus Winkler 在Unsplash

专家们做出了 4 项关键预测,这些预测将在未来几年推动数据市场向前发展:

1. 数据量的增加

大多数数据爱好者都同意,数据生成设备的消费者认为,未来生成的数据量将呈指数级增长。听说过泽字节吗?到 2025 年,全球数据量或数据领域将达到 181 泽字节。互联网上的用户数量正在推动数据的不断变化。我们拥有数十亿连接的设备和系统,它们每天都在全球范围内创建、收集和共享数据。 IDC(国际数据公司)估计,到 2025 年,将有 60 亿人通过互联网相互交互,每个连接的用户每 18 秒交互一次。

2010 年至 2025 年在全球范围内创建、捕获、复制和使用的数据/信息量 | Statista.com

2\。机器学习

机器学习和智能系统对科技界的介绍相当令人印象深刻。此时此刻,几位行业专家和研究机构正试图找出机器学习背后的强大现象。机器学习可以定义为“一种用于增强日常运营和业务流程的开发技术”或“一种智能,它允许应用程序在预测结果方面变得更加准确,而无需进行编程”。

无监督机器学习方法将提高计算机通过认知服务和更深入的个性化从数据中学习的能力。到 2026 年底,预测分析的使用将达到惊人的 220 亿美元。机器学习仍然是一个尚未开发的市场。一颗真正的宝石。

3\。对数据工程师/科学家的高需求

数据科学是一个相对较新的领域,但对该领域的角色需求已经很高。随着数据量的规模和复杂性不断增长,最终将需要更多的数据专业人员来弥合需求和可用性之间的差距。毕马威最近在 2019 年进行的一项调查(新冠疫情前)发现,来自 108 个国家/地区的 67% 的人由于数据技能短缺而难以填补职位空缺。前 3 大需求技能围绕大数据/分析、安全和人工智能/机器学习。怎样才能成为一名优秀的数据专业人士?

我将谈到一个称职的数据专业人员应该具备并深刻理解的四个核心组成部分:

• 数据平台和工具,例如云数据平台(Databricks、AWS、Azure、GCP)和数据可视化工具。

• 编程语言:Python、Java、Scala、Golang。

• 机器学习算法。

• 数据操作技术:构建数据管道、ETL流程和数据处理。

排名前 10 位的技能企业表示他们的行业技能不足 |https://www.gov.uk/government/publications/quantifying-the-uk-data-skills-gap/quantifying-the-uk-data -skills-gap-full-report

4\。 “快速且可操作的数据”的兴起

更快的数据允许实时处理。 NoSQL 数据库和开源数据库通常使用批处理模式,这与快速数据的思想背道而驰。流数据或流处理允许实时数据分析。这是一个优势,可以增加组织的价值,使他们能够在数据到达时快速有效地做出决策。 IDC 预测,到 2025 年,全球 30% 的数据将是实时的。大数据在没有分析的情况下本质上是毫无价值的,而且它的体量非常大,而且数据是非结构化的。可操作的数据通常是在市场落后或作为领导者蓬勃发展的组织之间缺失的环节。

挑战:

1. 数据量——过去的大多数数据集都是使用 Hadoop 和 NoSQL 等开源生态系统存储和处理的。但是,这些开源生态系统需要手动配置和故障排除,并且对于某些公司来说是非常复杂的系统。

2. 机器学习——在银行业等某些行业使用机器学习存在伦理和监管问题。 IBM 等巨头呼吁通过将这些模型与监控偏差的算法相结合来提高这些机器学习模型的透明度。

3. 数据安全问题——数据安全和隐私已经并将继续是一个问题。不断增长的数据量在保护数据免受安全攻击和试图将数据保护级别保持在最佳水平方面给数据安全带来了额外的挑战。美国所有公司的平均网络相关损失为 470 万美元。数据安全问题背后的一些原因如下:

• 安全方面的技能差距——去年 2021 年,估计未填补的网络安全方面的差距为 350 万。

• 网络攻击正在演变——黑客使用的威胁/攻击变得越来越复杂,跟上保护的步伐比以往任何时候都更加困难。

• 安全标准——公司和组织仍然决定忽略数据安全标准,这使得整个行业更难实现“数据安全”。

4\。缺乏正确的理解——在组织内创建现代数据文化是困难的。由于理解不足,一些公司在尝试推动数据计划时已经失败并将继续失败。没有一个透明的画面,或者让员工/数据专业人员不了解手头的问题,无论在大小上都是有害的。一个潜在的解决方案是根据市场需求不断发展,举办研讨会和研讨会,以确保公司作为一个整体了解快速变化的数据世界中正在发生的事情。

我将引用 Google 首席经济学家 Hal Varian 的话来结束我的短文:

“获取数据的能力——能够理解数据、处理数据、从中提取价值、可视化数据、交流数据——将在未来几十年成为一项非常重要的技能。”