登录社区云，与社区用户共同成长
邀请您加入社区
选10款亲测好用的开源免费工具，覆盖数据清洗→分析→可视化→工程化全链路，从数据清洗到机器学习，从静态报表到智能决策，为所有环节提供零成本的企业级替代方案。这10个工具覆盖数据全生命周期，从数据清洗、分析到可视化、工程化都有成熟方案，可以支撑从数据采集到决策支持的全链路需求。建议团队以具体业务场景为切入点，根据技术栈（如Python/JS）、部署环境（云/本地）、行业特性进行适配，逐步构建自主可控
作为大数据开发者,快速熟悉新公司的人际关系不仅有助于我们更好地融入团队,还能显著提升工作效率和项目质量。通过了解组织结构、人员角色,并保持积极沟通,我们可以在新的环境中迅速建立起自己的专业网络,为未来的职业发展打下坚实基础。记住,每一次与同事的交流都是一次学习和成长的机会。保持开放和好奇的心态,你会发现,在熟悉人际关系的过程中,你不仅收获了朋友,还拓展了视野,提升了自己的综合能力。
8、将安装文件上传到Slave003的software里面。7、登录数据库+创建数据库+查看。2、创建student。4、验证是否安装成功。5、Mysql初始化。
通过合理的架构分层，数据仓库能够有效地整合企业的数据资源，为企业的决策和业务优化提供支持。尽管面临着一些挑战，但随着技术的不断进步，数据仓库也将不断发展和完善。数据仓库建设解决方案 - 帆软数字化资料中心。
数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。
在之前开篇及数据仓库的方案中，我都提及到数据仓库对于管理型的数据（或对于BI系统）是至关重要的，所以这篇就分享一下我在实际工作中怎么创建数据仓库的，如有不足之处，请指正。
买回去的是家具住下来的才是生活——林氏家居
SelectDB Studio 专注于为用户提供高效、便捷的可视化操作体验，帮助数据开发者、DBA 低门槛、高效率地对 Apache Doris 及其兼容数据库中的数据进行可视化开发和管理。
Doris 湖仓一体凭借其强大的功能、先进的架构和核心技术，为企业数据管理提供了高效、智能的解决方案。在大数据时代，它就像一座坚实的桥梁，打通数据湖与数据仓库的壁垒，让数据流转更顺畅，价值释放更充分，助力企业在数字化转型的浪潮中抢占先机！
【大数据技术】Hive窗口函数里rows between与range between的区别及详细解析，重要，且易错
未来企业应用超融合数据库建设大数据平台会像使用关系型数据库一样简单，超融合数据库也是真正实现大数据技术普惠的必然选择。
我们在一些上过商业智能BI报表的企业看到他们经常吐槽，一个报表点一次查询，然后中午出去吃个饭或者出去抽两根烟，半个小时过去了，回来看一下，商业智能BI报表还是没有出来，为什么？应该如何优化？商业智能BI 分析报表查询慢，这是商业智能BI分析领域的一个常态。实际上，我们了解一下其中的原理，大概就能理解慢的原因，以及以后如何优化的一个方向。数据可视化 - 派可数据商业智能BI可视化分析平台大部分的商业
Hive 是一个强大的数据仓库工具，适合用于大数据场景下的数据分析和查询。
从数据仓库到数据中台再到数据飞轮，我了解的数据技术进化史
最近在建设数据仓库，处理数据的过程中，经常反复使用hive的HQL语句，尽管HQL和SQL语言有很多相同之处，但也并不是说HQL就能通用SQL的语法。在使用过程中要尤为注意。事情经过是这样的，我在把业务系统数据同步到数仓(数据存储在Hive)中时，在数据汇总层(DWS)，对数据进行汇总处理时，发现有数据丢失的问题，经过排查，发现是在使用引发的坑。
1.数据仓库简介1.1什么是数据仓库本质上，数据仓库试图提供一种从操作型系统到决策支持环境的数据流架构模型。1.1.1 数据仓库的定义面向主题、集成（面向主题相关，多个数据源）、非易失（一般并不进行数据更新）,包含历史数据的数据集合，用于决策支持。除了以上四个特性外，数据仓库还有一个非常重要的概念就是粒度。1.1.2 建立数据仓库的原因将多个数据源集成到单一数据存储，因此可以使用单一数据查询引擎展
下面，我们将通过具体的案例解读，帮助大家更好地了解人货场分析：1.业务背景为了提升顾客购物体验，优衣库推出了全国门店自提服务。在顾客在网店下单后，门店能够在最短的1小时内完成备货，并且顾客可以选择前往全国各适用门店自行提取商品。在电商时代迅速崛起的情境下，优衣库形成这一独特商业模式的主要原因在于其独特的经营模式。首先，其店铺将自助购物作为主要的消费模式，大大提升了顾客的购物体验。其次，店铺采用了仓
数据虚拟化为治理型数据湖建立了统一的数据访问层，使用户无需关心底层数据存储的位置和结构即可访问数据。数据虚拟化在治理型数据湖中扮演着核心角色，它能够在不移动数据的情况下，实现跨存储系统的数据整合和实时访问，为用户提供透明且安全的数据服务。治理型数据湖通过在数据湖构建之初引入严格的数据治理和管理机制，确保数据湖中的每一项数据都经过验证和标准化。
每段 ETL、表背后的归属业务主题。
设计核心明确粒度：确保事实表记录不可再分的最小业务单元。简化事实：优先使用可加事实，避免存储冗余计算字段。工具适配传统数仓（如 Oracle）：通过物化视图优化聚合查询。大数据平台（如 Hive）：利用分区和列式存储（ORC/Parquet）提升性能。典型陷阱粒度过粗：无法支持明细分析。过度冗余：存储可计算的派生字段（如同时存单价、数量、总价）。通过合理设计事实表，企业可构建高效、灵活的数据仓库，
ETL 是 Extract（抽取）、Transform（转换）、Load（加载）三个英文单词首字母的缩写。它描述了一个从数据源获取数据，经过一系列处理转换，最终将数据加载到目标系统的过程。在这个过程中，抽取阶段负责从各种数据源（如数据库、文件系统、API 接口等）读取数据；转换阶段对抽取的数据进行清洗、转换、聚合等操作，使其符合目标系统的格式和业务规则；加载阶段将转换后的数据写入到目标系统（如数据
本文介绍了基于湖仓一体构建数据中台架构的技术创新与实践。此外，文中介绍了Hudi框架在支持HSAP（Hybrid Serving & Analytical Processing）方面的特点，包括事务性支持、增量处理、计算存储分离以及丰富的开源生态，展示了其在分析服务一体化、流批读写设计等方面的能力，最后呈现了数据中台的整体架构图，涵盖数据应用、数据运营、数据安全等多个方面，体现了湖仓一体架构在数据
希君生羽翼，一化北溟鱼。—— 李白
Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。
业务数据保存在mysql中，定期用Sqoop导入到HDFS的ODS层，DWD层的业务数据进行简单的数据清洗并降维（退化维度）需求1：求GMV成交总额思路：在ADS层建每日GMV总和表ads_gmv_sum_daydrop table if exists ads_gmv_sum_day;create table ads_gmv_sum_day(`dt` string COM...
小质科技CEO王绍翾携ProtonBase数据库亮相AICon大会，这款历时4年打造的产品兼具分布式数据库、实时数仓、文本检索和OLAP分析等多模能力，重新定义了流批一体计算范式。ProtonBase通过实时增量物化视图技术取代Flink，支持向量检索和湖仓一体，在金融量化交易、车联网等高并发场景实现亚秒级决策。王绍翾指出，未来应用将建立在Data API和AI API之上，ProtonBase已
确实，许多学术数据库如EI、ISTP和SCI等，通常需要通过购买订阅或访问权限才能使用。这通常由高校、研究机构或图书馆提供给其成员或学生。对于个人用户来说，这可能是一个门槛，特别是如果他们只需要偶尔使用这些资源。
如今，大模型领域更卷了！前脚 OpenAI 发布 GPT4o，硬控全场，后脚就被最大的竞争对手 Anthropic 超越了。刚刚，Anthropic 发布了。据介绍，Claude 3.5 Sonnet 是 Anthropic 即将推出的 Claude 3.5 系列的首个版本。该模型提高了整个领域的智能水平，在绝大多数基准评估中都超越了竞品大模型和自家前代最强 Claude 3 Opus。与此同时，
声明粒度粒度是说明事实表的每一行表示什么,比如:用户下单的内容放到订单事实表的每一行中 这里的关键是粒度的描述 不能将维度列出来 而代替粒度声明 这一步特别容易被忽略 粒度声明需要达到共识 否则极有可能到下面三四步后返工重来1 确定数据粒度的基本准则数据粒度是指数据仓库中保存数据的细化或综合程度。数据仓库中包含大量数据表，这些数据表中的数据以什么粒度来存储，会对信息系统的多方面产生影响。在做 数据
在出现之后，端到端的目标检测得到了迅速的发展。 使用一组来替换大多数传统检测器中的。相比之下，不能保证作为密集先验的高召回率。但是，在当前框架中，使查询变得密集并非易事。它不仅计算成本高，而且优化困难。由于和都不完美，那么端到端目标检测中的预期查询是什么？本文表明预期的查询应该是密集的不同查询（）。具体来说，将密集先验引入框架以生成密集查询。对这些查询应用重复查询删除预处理，以便它们彼此区分开来。
1.泰尔指数泰尔指数（Theil index）或者泰尔熵标准(Theil’s entropy measure)泰是由泰尔(Theil,1967)利用信息理论中的熵概念来计算收入不平等而得名。熵在信息论中被称为平均信息量。在信息理论中，假定某事件E将以某概率p发生，而后收到一条确定消息证实该事件E的发生，则此消息所包含的信息量用公式可以表示为：熵或者期望信息量等于各事件的信息量与其相应概率乘积的总和
本文将通过一个示例，展示如何使用 SQL 中的窗口函数来找出每个学生的第二高分数及其对应的学科。我们首先需要为每个学生的分数生成一个排名，以便后续筛选。我们将为每个学生的分数生成排名，并使用四个不同的窗口函数。, 和 `PERCENT_RANK()。
AB testing过程中会有哪些隐藏的陷阱。AB testing的数据分析要注意什么。
索引用于帮助快速过滤或查找数据。目前 Doris 主要支持两类索引：内建的智能索引，包括前缀索引和ZoneMap索引。用户创建的二级索引，包括Bloom Filter索引和Bitmap倒排索引。其中ZoneMap索引是在列存格式上，对每一列自动维护的索引信息，包括Min/Max，Null值个数等等。这种索引对用户透明，不在此介绍。以下主要介绍其他三类索引。前缀索引原理本质上，Doris 的数据存储
市场上有许多项目管理软件解决方案，每个都有自己的优点和缺点，根据您的具体需求和要求，市场上有8种可用的项目管理软件可以作为Monday.com的替代工具，分别是：Zoho Projects、Trello、Asana、Wrike、Basecamp、JIRA、Microsoft Project、Smart sheet。
在一次市场波动中，交易数据量激增，云平台迅速调配资源，保障大宽表稳定运行，借助人工智能风险预测模型，提前识别潜在风险客户，及时采取风控措施，有效降低坏账率，提升企业抗风险能力。以电商企业为例，每日海量订单、用户行为数据涌入大宽表，HDFS能轻松承载，且通过多副本机制保障数据可靠性，确保大宽表稳定运行。企业基于这些洞察，可制定个性化营销策略，提高客户转化率与忠诚度，挖掘大宽表深层数据价值。新兴技术为
近一两年来，股票量化分析逐渐受到广泛关注。而作为这一领域的初学者，首先需要面对的挑战就是如何获取全面且准确的股票数据。因为无论是实时交易数据、历史交易记录、财务数据还是基本面信息，这些数据都是我们进行量化分析时不可或缺的宝贵资源。我们的核心任务是从这些数据中挖掘出有价值的信息，为我们的投资策略提供有力的支持。在寻找数据的过程中，我尝试了多种途径，包括自编网易股票页面爬虫、申万行业数据爬虫，以及
明确每个数据域下有哪些业务过程后，您需要开始定义维度，并基于维度构建总线矩阵。在划分数据域、构建总线矩阵时，需要结合对业务过程的分析定义维度。以本教程中A电商公司的营销业务板块为例，在交易数据域中，我们重点考察确认收货（交易成功）的业务过程。在确认收货的业务过程中，主要有商品和收货地点（本教程中，假设收货和购买是同一个地点）两个维度所依赖的业务角度。从商品维度我们可以定义出以下维度的属性：商品ID
从使用我们设置的参数（rsi_period=14，超买水平 = 70，超卖水平 = 30）的回测结果中，我们可以看到结果一点也不好，从 10,000 美元涨到了 10,167 美元。因此，我们需要进行优化以找到最佳参数。从结果中，我们可以看到，从 10,000 美元开始，它增长到 59,341.05 美元，跌幅不超过 25%。该策略是模拟的，用户从余额（例如 10,000 美元）开始，并根据 RS
从严谨的数据库到开放的数据湖，从静态的报表分析到实时的数据流转，四大技术体系共同构建了数据世界的基础设施。企业无需纠结「非此即彼」的选择，而是应像搭建城市交通网一样，让数据在合适的「管道」中高效流动——让交易数据走「高速公路」（实时数据库+运河），让历史数据进「图书馆」（数仓），让原始数据住「生态湿地」（数据湖）。当技术回归本质，我们最终追求的，是让数据像自来水一样，随时可用、安全可靠、按需流转。
数据仓库
——数据仓库
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
AI 知识库会话
永洪数据分析社区
西安城市开发者社区
2048 AI社区
DeepSeek技术社区
程序员理财社区
