大数据中的问题与挑战：综述

1 引言

大数据不仅是最有前景的技术，而且是重新获得生活方式的社会必需。例如 Facebook。因此，数据正以指数级速度增长。大数据具有高数据量，赛费将这种数据主义引用为：“数据主义更像是一本传统的商业书籍，充满了轶事、小传记和格言，但这些内容的吸引力却逐渐减弱[24]”。大数据关注如何为这些高数据量的数据赋予价值。大数据包括非结构化、半结构化和结构化数据。大数据已被证明是在许多数据密集型领域中的变革性技术。大数据能够自动增强决策过程[16]。一个错误的决策可能摧毁一个组织。因此，大数据分析应运而生，以协助和指导决策过程。数据驱动的决策过程是组织采取行动最关键和最重要的部分[26]。然而，大数据面临“维度灾难”的问题。许多基于大数据的新服务不断涌现，例如：大数据即服务、大数据安全即服务、大健康数据即服务以及大数据分析即服务。

此外，大数据的影响无处不在，涉及工程、科学、政府、经济和环境等领域。有趣的是，艾纳夫等人[11]描述了大数据在经济增长中的作用。麦克奥菲等人[21]更强调利用大数据创造商业收入。因此，许多领域得益于大数据技术而得到发展，主要包括电子健康、可穿戴技术、医学个性化、物联网（IoT）、客户分析解决方案、监控系统、交通系统、数字体验解决方案以及电力/能源。伯恩等人[5]指出：“研究界必须找到更高效的模式来存储、组织和访问生物医药数据”。生物注释需要通过生物医学和生物学发现来访问大数据[14]。因此，大型跨学科数据也在不断增长。这些技术产生了巨大的数据量。知名的数据密集型领域包括地理信息系统、天气、地震、基因组、海洋、土壤、石油和无人机。因此，计算机科学家、物理学家、经济学家、数学家、生物信息学家和社会学家出于不同目的使用大数据。政府和私营部门是应用大数据分析的关键领域。随着时间的推移，大量数据被过度生成，因此这些数据难以用传统方式存储、处理、可视化和分析。这些数据大多来自不同领域，且为非结构化数据。因此，当前跨学科研究在大数据方面既面临挑战也充满机遇。

2 大数据分析中的问题与挑战

大数据分析是一种对大型数据集进行逻辑分析的方法。实践大数据分析（BDA）具有多种目的，并在研究中展现出巨大的可能性。例如，BDA有助于改善医疗保健[22]，这是当今最突出的研究挑战。BDA被应用于医疗保健领域的决策支持系统，以实现更好的结果、预防、低成本解决方案以及事件的早期发现。BDA深入挖掘数据以发现新的事实或洞察。BDA的第一个关键挑战是监控高数据量的实时事件，并探索现有的大量数据。BDA的第二个关键挑战是基于大数据利用机器学习算法预测未来。BDA被部署在企业组织中，以了解其业务行为并利用自有数据集预测未来。第三个关键挑战是使用非常大的数据集进行决策过程，这需要大数据分析。BDA的关键挑战之一是学习决策并基于海量数据集做出正确决策。BDA能够在大型数据集中从众多方案中推荐出较优的解决方案。第四个关键挑战是BDA的诊断分析，用于探究过去的性能/事件。第五个挑战是揭示过去事件中隐藏的模式。BDA识别用户和数据的行为以检测异常。最后，最具前景的挑战是在非常大的数据集上实现异常检测、入侵检测和欺诈检测。这是一个难以实现的挑战。

3 大数据安全性问题

保护和保障数据是大数据范式中的首要任务。此外，大数据被用于检测安全威胁。相反，大数据也被用来检测系统漏洞以进行攻击/测试。大数据简化了保障数据、保护数据以及确保数据隐私性的能力。大数据分析技术涉及数据安全性、保护客户数据隐私的技术、数据溯源、数据透明性、性能基准测试、数据与系统的互操作性。大数据安全（BDS）包含两个方面，即面向安全的大数据和面向大数据的安全性。此外，安全基础设施、安全数据管理、数据隐私性和实时安全是大数据安全的一些示例[12]。大数据安全的需求包括机密性、真实性、完整性以及可用性（服务不应因分布式拒绝服务攻击而中断）[3]。此外，大数据安全可降低敏感数据泄露的风险。云安全联盟（CSA）将大数据安全分为基础设施安全、数据保护、数据管理和响应式安全[2,13]。然而，云安全联盟列出了大数据安全领域的十大挑战[13]，即：（a）分布式编程框架中的安全计算；（b）非关系型数据存储的安全最佳实践；（c）安全数据存储和事务日志；（d）端点输入验证/过滤；（e）实时安全/合规监控；（f）可扩展且可组合的隐私保护数据挖掘与分析技术；（g）密码学强制的访问控制与安全通信；（h）细粒度访问控制；（i）细粒度审计；以及（j）数据溯源。

大数据分析（BDA）被用于检测异常、入侵、欺诈和高级持续性威胁（APT）[6]。以传统方式对大规模的安全分析进行拼写检查是不可能的。通过在大规模日志、系统事件、网络流量、网站流量、安全信息和事件管理（SIEM）警报、网络攻击模式、业务流程及其他信息源上部署大数据分析，已实现大数据的安全性。此外，对数十亿用户的访问控制是一项复杂的工作[3]。保护数据免受恶意攻击者侵害仍是一个开放性的挑战。数据源、数据格式、数据流以及基础设施的多样性可能导致安全漏洞。

大数据中的问题与挑战：综述

4 开放性挑战

大数据面临的挑战如下所示‐
(a) 大数据的规模确实非常庞大，足以实现从一个源到另一个源的数据传输。
(b) 大型数据集难以进行可视化，很难从中挖掘出有意义的信息，并且管理这些数据也十分复杂。
(c) 这些庞大的数据集包含结构化数据、非结构化数据和半结构化数据。关键问题在于数据来源多样，导致形成各种类型的数据。存储这些数据异构性本身就是一个巨大的挑战。
(d) 实时大数据处理是一个重大挑战。
(e) 利用大型数据集做出正确决策是一项挑战。
(f) 高效的数据可视化是一个开放的挑战[15]。
(g) “按需付费”模式有助于降低成本用户。大数据即服务和大数据分析即服务显著降低了成本。然而，在大数据范式中，进一步降低成本仍然是一个挑战。
(h) 负载均衡中最突出的问题是异构性、可扩展性、一致性和适应性。
(i) 容错系统对管理员而言最为繁琐，且故障难以轻易避免。容错模型通过磁盘阵列、复制、纠删码、去重和日志记录来实现。
(j) 大数据技术需要具备动态数据大小的自动可扩展性。可扩展性是大数据中的重大问题，设计无限可扩展性是最严峻的研究挑战。
(k) 另一个研究挑战是利用低成本的商用硬件实现高性能。
(l) 关键问题是动态数据量，技术需要能够自我调整以应对不断变化的环境。
(m) 突出问题在于设计自动故障转移机制以确保高可用性。
(n) 在实际场景中，带宽并非无限，因此减少带宽消耗是一个挑战。
(o) 另一个问题是如何显著提升吞吐量。
(p) 文件系统的性能取决于所产生的网络流量的最小化程度。在数据密集型计算中，必须对网络流量进行精细调优以实现卓越性能。
(q) 灾难恢复与管理始终是重大问题和巨大挑战。灾难恢复是数据存储系统中最核心的部分。灾难恢复即服务或恢复即服务是灾难恢复领域中最突出的新兴云模型。
(r) 数据采集是大数据面临的问题之一。数据不会自动产生，而是由用户导致数据库大小不断增大。无论是显式还是隐式收集数据，数据库大小都在持续增长。
(s) 大数据的数据管理涉及数据再利用、数据发现和数据保存，以确保数据的价值随时间得以维持[1,7]。特别是，由于高数据量，大数据中的数据管理变得更加复杂。

5 大数据应用中的问题与挑战

由于庞大规模数据的存在，大数据在实际系统中的部署非常复杂，并且需要持续进行监控、处理和可视化。然而，数据密集型领域利用大数据技术来提升其收入和性能，例如生物医学工程。毫无疑问，由于存在大量需要分析的数据[8]，大数据是生物医学工程的一个理想选择。大型生物医学数据工程（BBDE）需要巨大的存储空间、处理能力、可视化和分析能力。文章[4]提出了一个问题——“我们为什么要写作？”。假设的环境可能不同，但答案是相似的。然而，生物医学工程需要记录数据，以便将来有人能够利用这些数据研究疾病治疗过程。这一答案与文章[4]的观点一致。大数据分析（BDA）是大数据与分析技术的融合[9]。分析技术指的是逻辑分析方法。BDA提供了一个平台，用于发现数据中的隐藏价值。

6 讨论与未来方向

大数据技术的发展旨在服务数十亿客户，以创造收入。大数据的未来将更加注重跨学科计算[23]林奇[18]曾指出：“如果数据无法在短期内保存，谈论其长期使用就毫无意义”。伯恩等人[5]呼吁采用更高效的方式来存储、管理和处理医疗数据。兰杜伊斯[17]报告指出，神经科学是大数据的另一个新兴领域，因为任何物种的神经元规模都非常庞大，难以存储和处理。马克思等人[19]报告指出，癌症研究需要大数据。《自然》[10]社论指出：“医疗专业人员将面对比金融领域更多的数据”。托波尔[25]指出：“一个大规模、开放、在线的医学资源将有助于快速识别疾病的遗传原因”。大数据被用于改进医疗保健过程[27]。此外，美国国家航空航天局处理数拍字节的气候数据[20]。另一项未来的任务是对海量数据进行实时处理[8]。实时大数据处理是一个非常复杂的过程。需要一种强大的编程范式，以在无限规模（艾字节或更大）上高效地处理实时大数据。此外，大数据项目从有害项目延伸到有益项目。从2020年起，地球上所有人都将直接或间接地参与到大数据之中。

7 结论

我们已经揭示了大数据面临的问题和挑战。大数据的关键问题包括数据量、数据速度和数据多样性。此外，安全性、隐私性、适应性、容错性、一致性、数据管理、数据采集、网络流量、带宽和延迟、性能、可扩展性、负载均衡也是大数据技术中一些突出的问题。大数据安全（BDS）和大数据分析（BDA）也发挥着至关重要的作用，多年来一直是众多组织关注的重点问题。我们还讨论了大数据的发展方向正在走向“跨学科大数据计算”和“超大规模数据”。大数据的应用范围不仅限于工程、科学、环境、经济、生物学和农业。例如，大数据可以应用于医疗领域，如癌症治疗和脑部分析。