浅谈滴滴派单算法原创： 王犇 刘春阳 徐哲滴滴技术桔妹导读：说到滴滴的派单算法，大家可能感觉到既神秘又好奇，从出租车扬召到司机在滴滴平台抢单最后到平台派单，大家今天的出行体验已经发生了翻天覆地的变化，面对着每天数千万的呼叫，滴滴的派单算法一直在持续努力让更多人打到车，本篇文章会着重介绍我们是如何分析和建模这个问题，并且这其中面临了怎样的算法挑战，以及介绍一些我们常用的派单算法，这些算法能够...

数据中台之OneData体系知其然知其所以然，本篇的博文总结和自己公司现在用到的数据中台的OneData的体系类似，使用的情景也很相似，所以我就把它放到自己的博文里，不仅自己可以重温一下，同时也可以帮到那些同样使用OneData数据中台的同学。背景随着公司业务的发展，频繁迭代和跨部门的垂直业务单元

hive中的空值处理用Sqoop往MySQL同步数据时，由于hdfs存储的数据中有null值或’’，导致同步数据失败。主要是hive sql中的空值造成的，所以今天就说一下怎么解决这个问题。一.hive中空值分两种（1）NULLhive中null实际在HDFS中默认存储为’\N’，通过查询显示的是’NULL’。这时如果查询为空值的字段可通过语句：aaa is null 或者 aaa =’...

MapReduce介绍（一）MapReduce简介MapReduce是一种分布式计算模型，是Google提出的，主要用于搜索领域，解决海量数据的计算问题。MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。（二）MapReduce有哪些角色？各自的作用是什么？MapReduce由JobTracker和TaskTracker组成。...

踩过数据仓库hive的坑：hive设置严格模式hive提供了一个严格模式，可以防止用户执行那些可能产生意想不到的不好的效果的查询，也可以很好的防止数据倾斜。即某些查询在严格模式下无法执行。通过设置hive.mapred.mode的值为strict，可禁止以下3种类型的查询。1）带有分区的表的查询如果在一个分区表执行hive，除非where语句中包含分区字段过滤条件来显示数据范围，否则不允许执行。换

JVM(java 虚拟机）一.JVM简介1.JVM：Java Virtual Machine （java 虚拟机）通过软件来模拟出来的具有完整的硬件系统功能、运行在完全隔离的环境中的完整的计算机系统。2.种类：1）Sun Classic 经典款2）Exact VM 准确式内存管理3）Sun HotSpot VM 热代码跟踪二.JVM运行时的区域1.运行时的区域2.线程隔离区域（...

（一）ZooKeeper中的各种角色（二）Zookeeper节点数据操作流程注：　　　　　　1.在Client向Follwer发出一个写的请求　　2.Follwer把请求发送给Leader　　3.Leader接收到以后开始发起投票并通知Follwer进行投票　　4.Follwer把投票结果发送给Leader　　5.Leader将结果汇总后如果需要写入，则开始写入同时把写入操作通知...

MYSQL增加外键的两种方式*根据需求建一下表i: emp表ii:dept表代码实现

hive中的模糊匹配之like的用法现在看一段Hsql,执行时会报错吗？select*from ods.ods_sjc_events_rtwhere event like '%OCR%';答案是显而易见的，这样的写法在MySQL中是不会报错的，但在hive中就会报错，由于hive会将一些特殊字符作转义处理，导致某些语句无法通过传统sql语法实现。例如要筛选某字段中所有带’OCR...

hive中的模糊匹配之like的用法现在看一段Hsql,执行时会报错吗？select*from ods.ods_sjc_events_rtwhere event like '%OCR%';答案是显而易见的，这样的写法在MySQL中是不会报错的，但在hive中就会报错，由于hive会将一些特殊字符作转义处理，导致某些语句无法通过传统sql语法实现。例如要筛选某字段中所有带’OCR...