1.中文数据集CTW data(Chinese Text in the Wild)清华大学与腾讯共同推出了中文自然文本数据集（Chinese Text in the Wild，CTW）——一个超大的街景图片中文文本数据集，为训练先进的深度学习模型奠定了基础。目前，该数据集包含 32,285 张图像和 1,018,402 个中文字符，规模远超此前的同类数据集。研究人员表示，未来还将在此数据集...

大数据面试题https://www.yuque.com/zhongguohaopangzi/igi4hb/kws4zv京东1、列举几种数据倾斜的情况，并解释为什么会倾斜，以及如何解决？Join的时候发生数据倾斜：join的键对应的记录条数超过这个值则会进行分拆，值根据具体数据量设置set hive.skewjoin.key=100000;set hive.optimize.skewjoin=fal

一、参与沟通人员：1.业务需求提出方2.IT或设计的业务系统运维部门。 eg:ERP部门3.报表开发部门人员二、会议确定内容：1.确定报表使用对象2.各指标的数据来源是否都有 数据质量3.数据缺失是否需要补录 补录方式，是否需要帆软填报4.需求的内容样式、数据维度是否明确，eg:组织维度是否清晰5.是否需要移动端 和 大屏6.是否权限管控三、会议结论1.形成会议纪要2.形成需求文档...

由于不同层级内存访存性能的差异，现有的分层内存管理系统使用了多种内存迁移技术尝试优化系统的吞吐和时延，但是它们都假定访问默认内存层级（硬件标明的内存访问时延最低的层级）的时延总是优于额外内存层级，因此总是把最热的页面放进默认层级。”的原则迁移页面，将页面转移到访问时延更低的层级中，最终平衡时默认和额外层级的时延基本相同，从而动态地调节系统访问default tier内存的概率，使得全系统平均时延和

1. 需求描述当多窗口填报时，希望子窗口填报成功后，数据能马上在父窗口中显示出来，通常采用的方法是刷新父窗口，但现在触发刷新事件是在子窗口中，而父窗口又无法获取子窗口填报成功的事件。要如何设置才能实现子窗口刷新父页面呢？2. 解决方案打开填报的子模板，在子模板中添加填报成功事件。3. 示例3.1 打开模板打开子模板：%FR_HOME%\\webapps\webroot\WEB-INF\report

大家好，我是小王，是一名刚刚加入机器人队的大学生。有人说搞机器人特别简单，只要画画图，拧拧螺丝，敲敲代码就可以了。He tui！要这么容易，每年能有上百支机器人队伍，花十几万挤破了头都抢不到30万奖金吗？不过，团队有了我这种天才，一定能突破技术、碾压对手、改变历史、创造奇迹，赢走冠军奖杯！嘿嘿，光是想想就有点小激动呢！不管了，先设计一台机器人让队友们刮目相看吧！做一台机器人需要什么呢？其实机器人跟

概述：总job，分三步，第一：先清空目标表；第二，根据源表总的数据行，结合服务器配置 kettle每次能抽取插入多少行，算出需要分n次抽取，并生成1到n的序列值列表。ps:生成1、2、3...n 的数据列，然后把每个值赋值给变量var_page, 根据var_page的值分页查询。第三，根据第二步 生成的1、2、3...n的数据列，为每行都执行一次表插入，即实现分n次抽取数据插入。在每次的执行中都

建立数据仓库是一个解决企业数据问题应用的过程，是企业信息化发展到一定阶段必不可少的一步，也是发展数据化管理的重要基础。数仓的知识市面上的书籍和文章不少，但是实际实施依据行业不同，企业核心诉求不同，从技术到方法论各有不同。如何实施数仓项目，本文先以传统行业的数仓切入，从整体上讲下数据仓库的实施方法论！数据仓库的通用实施步骤一、需求分析需求分析是数据仓库项目最重要的一个环节，数仓说到底还是服务于业务，

数据湖是用来存储什么样的数据呢？数据湖是以什么样的存储模式存储数据呢？是关系型数据库的模式吗？数据湖与Delta Lake的关系是？数据湖可以替代数据仓库吗？简单对比下数据湖与数据仓库。数据湖存储起来非常方便，为了保证敏捷开发，是无需管理的，对吗？Apache Hudi是干什么的？仅仅实现增删改查吗？基于Hudi的数据湖数据是以什么方式存储的？Hudi有元数据吗？元数据存储在哪儿？Hudi是以什么

转自：博客园 大佬 鼬手牵佐手https://www.cnblogs.com/itachilearner/1.虽然各个公司的数据仓库各层名称各不相同，但是总体上大同小异，都包括ODS(Operation Data Store)原始数据层，公共数据层CDM（Common Data Model），又称公共数据模型，和应用数据层APP（或者叫ADS） 。ODS层：原始数据层，主要是将源系统数据抽取到数仓