最近人工智能大火，AI 应用所涉及的技术能力包括语音、图像、视频、NLP 等多方面，而这些都需要强大的计算资源支持。AI 技术对算力的需求是非常庞大的，虽然 GPU 的计算能力在持续提升，但是对于 AI 来说，单卡的计算能力就算再强，也是有极限的，这就需要多 GPU 组合。而 GPU 多卡的组合，主要分为单个服务器多张 GPU 卡和多个服务器，每个服务器多张卡这两种情况，无论是单机多卡还是多机多卡

在GPT-2之前的模型时代，GPU内存还能满足AI大模型的需求，近年来，随着Transformer模型的大规模发展和应用，模型大小每两年平均增长240倍，实际上GPT-3等大模型的参数增长已经超过了GPU内存的增长。基于存算一体超异构概念，亿铸科技提出了自己的技术畅想：若能把新型忆阻器技术(RRAM)、存算一体架构、芯粒技术（Chiplet）、3D封装等技术结合，将会实现更大的有效算力、放置更多的

Ceph是一个非常复杂的存储系统，它具有几种我们可以用来提高性能的方式。幸运的是，Ceph的开箱即用非常好，许多性能设置几乎利用了自动调整和缩放功能。在探索一些性能增强时，了解您的工作负载很重要，这样您就可以选择最适合您的选项。

目前市面上流行的三大开源数据湖方案分别为：DeltaLake、Apache Iceberg和Apache Hudi。

Python写单元大多数都会用到unittest和mock，测试代码覆盖率都会用到coverage，最后再用nose把所有的东西都串起来，这样每次出版本，都能把整个项目的单元测试都运行一遍。Unittestunittest就不详细介绍了，注意几点：测试类继承unittest.TestCase测试类、测试方法名字最好以test开头，很多工具能根据名字来自动运行，很方便测试类里面的setUp/te

技术的变革，一定是思想先行，云原生是一种构建和运行应用程序的方法，是一套技术体系和方法论。云原生（CloudNative）是一个组合词，Cloud+Native。Cloud表示应用程序位于云中，而不是传统的数据中心；Native表示应用程序从设计之初即考虑到云的环境，原生为云而设计，在云上以最佳姿势运行，充分利用和发挥云平台的弹性+分布式优势。...

数据治理定义了数据管理的总体策略，规定了数据管理的组织、制度和流程，明确了数据的权属，定义了数据标准，为数据资产管理指明方向。数据资产目录是数据治理策略的具体执行，以业务友好的方式展示企业的数据资产和位置，帮助用户更好地找到、理解和使用他们的数据。

该论文的研究背景是大型语言模型（LLM）和基于本体的知识图谱（KG）在自然语言处理（NLP）任务中的性能提升。 过去的方法存在一些问题，该论文提出的方法通过从文本中生成KG并遵循给定的本体，解决了这些问题，并鼓励了新的方法。 本文提出了Text2KGBench，一个基准测试，用于评估语言模型根据本体从自然语言文本中生成KG的能力。该方法使用两个数据集和七个评估指标来评估抽取性能、本体合规性和LLM

网易大数据平台的底层数据查询引擎，选用了 Impala 作为 OLAP 查询引擎，不但支撑了网易大数据的交互式查询与自助分析，还为外部客户提供了商业化的产品与服务。今天将为大家分享下 Impala 在网易大数据的优化和实践。

我在上一篇文章《我的数据我做主》中，简单分析了数字世界中数据作为生产资料应该得到更合理的组织和管理，让数据的生产者真正拥有数据。数据必然要从集中走向分散。那么存储系统和存储技术也要为数据的分散化做好准备。在文中我也提到最理想的方式是建立一个存储的统一标准，就像现在的互联网一样，构建一个标准的存储网络，统一的协议，统一的接口，不同的企业都可以为存储提供基础设备和传输，个人可以选择不同的存储提供商..