电信客服需求: 统计每天、每月以及每年的每个人的通话次数及时长项目架构：生产数据（ProduceLog）随机生成电话号（主被叫）随机生成通话建立时间随机生成通话时长（30min内）生成日志写入文件，2条/sflume（exec-kafka）Source:exec，监听生成数据Channel:MemoryChannelSink:KafkaSinkkafka（消息队列）控制台消费者测试IDEA消费者直

阿里巴巴常考的面试算法题，比如LRT缓存机制，无重复字符的最长子串，比较版本号等......

1. HDFS的架构72. HDFS的读写流程73. 小文件过多有什么危害，你知道的解决办法有哪些84. Secondary NameNode 了解吗，它的工作机制是怎样的85. 简述MapReduce整个流程96. join原理97. yarn 的任务提交流程是怎样的108. 简述Hadoop1.0 2.0 3.0区别109. 简述什么是CAP理论，zookeeper满足CAP的哪两个1110.

我本硕都是双非计算机专业，从研一下开始学习大数据开发的相关知识，从找实习到秋招，我投递过100+公司，拿到过10+的offer，包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂（岗位都是大数据开发），现在已经签约蚂蚁。秋招一路走来，踩过不少坑，比如，刚开始学习大数据的时候，看见那么多的组件框架，不知道如何下手；还有在找工作的时候，不知道如何做好充分的准备等等问题。接下来我主要介绍 大数据开发的学习路

基于注意力的嵌入学习用于知识图谱的关系预测论文题目：Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs论文地址：https://www.aclweb.org/anthology/P19-1466/出版：ACL 2019代码地址：https://github.com/deepakn97/rel

GCN/GraphSAGE/GAT代码导包import torchimport torch.nn.functional as Ffrom torch_geometric.nn import GCNConv, SAGEConv, GATConvfrom torch_geometric.datasets import Planetoid导入数据集dataset = Planetoid(root='./