10. logback详解，Flink流处理案例及Hive和Hbase的整合
logback详解1. [logback的使用和logback.xml详解](https://www.cnblogs.com/warking/p/5710303.html)1.1. 按指定间隔滚动生成日志文件1.2. [logback指定某一包或者类下日志记录到不同文件中](https://blog.csdn.net/philip502/article/details/105268526/)1.3
·
logback详解，Flink流处理案例及Hive和Hbase的整合
- 1. [logback的使用和logback.xml详解](https://www.cnblogs.com/warking/p/5710303.html)
- 2. Flink前期数据准备
- 3. Flink消费kafka中的数据到hbase`流模式`
- 4. [Hive2.3.2整合HBase2的环境配置以及测试](https://blog.csdn.net/huaishu/article/details/79782984?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-1)
- 5. 寄语：成功往往不是一蹴而就的，必须学会分解你的目标，逐步实施。
1. logback的使用和logback.xml详解
1.1. 按指定间隔滚动生成日志文件
-
自定义策略类
MyTimeBasedFileNamingAndTriggeringPolicypackage com.xiaofan.flink_demo.conf; import ch.qos.logback.core.joran.spi.NoAutoStart; import ch.qos.logback.core.rolling.DefaultTimeBasedFileNamingAndTriggeringPolicy; import java.io.File; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; /** * 自定义日志文件以分钟为单位滚动生成的策略 * @author xiaofan */ @NoAutoStart public class MyTimeBasedFileNamingAndTriggeringPolicy<E> extends DefaultTimeBasedFileNamingAndTriggeringPolicy<E> { /** 按照分钟从0开始来指定时间间隔 */ private Integer multiple = 1; private final String MINUTE_FMT_STR = "yyyyMMddHHmm"; /** 这里设定当前初始化的时间为当前 */ @Override public void start() { super.start(); Date dateInCurrentPeriod = getFloorCurrDate(); setDateInCurrentPeriod(dateInCurrentPeriod); // 设置当前校验时间 computeNextCheck(); } @Override protected void computeNextCheck() { nextCheck = getDateByMinute(getFloorCurrDate(), multiple).getTime(); } @Override public boolean isTriggeringEvent(File activeFile, E event) { long time = getFloorCurrDate().getTime(); if (time >= this.nextCheck) { return super.isTriggeringEvent(activeFile, event); } else { return false; } } @Override public String toString() { return "com.xiaofan.flink_demo.conf.MyTimeBasedFileNamingAndTriggeringPolicy"; } /** 获取地板除时间 @return */ private Date getFloorCurrDate() { Date floorCurrDate = getCurrentDate(); Calendar nowCal = Calendar.getInstance(); nowCal.setTime(floorCurrDate); int minute = nowCal.get(Calendar.MINUTE); //拿当前时间的分钟来求模，如果对分割时间求模不为0，地板除取时间 int minuteMod = minute % multiple; if (minuteMod != 0) { floorCurrDate = getDateByMinute(floorCurrDate, 0 - minuteMod); } return floorCurrDate; } /** 获取当前的整分钟时间 @return */ private Date getCurrentDate() { String currStr = dateToStr(new Date(), MINUTE_FMT_STR); return strToDate(currStr, MINUTE_FMT_STR); } /** 函数功能描述：将插入的String转换成相应的date对象 @param dataStr 日期字符串 @param formatDate 日期格式字符串 @return @throws ParseException */ private Date strToDate(String dataStr, String formatDate) { SimpleDateFormat sdf = new SimpleDateFormat(formatDate); try { return sdf.parse(dataStr); } catch (Exception e) { e.printStackTrace(); } return new Date(); } /** 函数功能描述：将传入的日期转换成特定格式的字符串，如果date为null，那么返回null @param date 日期 @param formatStr 日期格式字符串 @return */ private String dateToStr(Date date, String formatStr) { if (date == null) { return null; } SimpleDateFormat sdf = new SimpleDateFormat(formatStr); return sdf.format(date); } /** 函数功能描述：根据给定日期，将指定的时间量添加或减去给定的分钟数。 例如，要从当前日历的时间减去5分钟，您可以通过调用以下方法来实现： getDate(date, -5) @param date 给定日期 @param amount 添加或者减去给定的分钟数 @return */ private Date getDateByMinute(Date date, int amount) { return getDate(date, Calendar.MINUTE, amount); } /** 函数功能描述：根据日历的规则，将指定的时间量添加或减去给定的日历字段。 例如，要从当前日历的时间减去5天，您可以通过调用以下方法来实现： getDate(date, Calendar.DATE, -5) @param date 给定日期 @param field 日历规则 @param amount 要添加到字段的日期或时间的数量 @return */ private Date getDate(Date date, int field, int amount) { Calendar ca = Calendar.getInstance(); ca.setTime(date); ca.add(field, amount); return ca.getTime(); } public Integer getMultiple() { return multiple; } public void setMultiple(Integer multiple) { if (multiple <= 0 || multiple >= 60) { multiple = 1; } this.multiple = multiple; } } -
配置
logback.xml<configuration scan="true" scanPeriod="60 seconds" debug="false"> <contextName>flink_demo</contextName> <property name="root.logger.level" value="INFO"/> <property name="ER.logger.level" value="INFO"/> <!-- 按照每10分钟滚动生成一个文件 --> <appender name="rollingFileAppender" class="ch.qos.logback.core.rolling.RollingFileAppender"> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <fileNamePattern>logs/info.%d{yyyy-MM-dd-HH-mm}.log</fileNamePattern> <timeBasedFileNamingAndTriggeringPolicy class="com.xiaofan.flink_demo.conf.MyTimeBasedFileNamingAndTriggeringPolicy"> <multiple>10</multiple> </timeBasedFileNamingAndTriggeringPolicy> <!--最大保存最近七天的记录--> <maxHistory>1008</maxHistory> </rollingPolicy> <encoder> <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger - %msg%n</pattern> <charset>UTF-8</charset> </encoder> </appender> <appender name="myFileAppender" class="ch.qos.logback.core.FileAppender"> <file>logs/error.log</file> <append>false</append> <encoder> <pattern>%-4relative [%thread] %-5level %logger{35} - %msg%n</pattern> </encoder> </appender> <root level="${root.logger.level}"> <appender-ref ref="rollingFileAppender" /> </root> <logger name="com.xiaofan.flink_demo.window_watermark" value="ERROR" additivity="false" > <appender-ref ref="myFileAppender"/> </logger> </configuration>
1.2. logback指定某一包或者类下日志记录到不同文件中
1.3. logback按日期和大小切分日志
2. Flink前期数据准备
2.1. 获取数据（拉钩网爬虫）[github链接]
-
爬取数据格式如下：
{"positionName": "数据架构师", "companyName": "格蒂电力招聘", "companySize": "500-2000人", "industryField": "企业服务", "financeStage": "未融资", "companyLink": "http://www.grid-elec.com", "city": "太原", "salary": "10k-18k", "workYear": "经验5-10年", "education": "大专及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 上市公司，福利待遇优厚，职业发展空间广阔", "jobDetail": "技能要求：\nPython，Shell，java，Oracle\n1.熟悉大数据体系和架构，参与过数据中台或数据平台的建设，具备数据链路设计经验；\n2.熟悉Hadoop、Lambda、Kappa、Kaffka、Storm、Spark等大数据体系架构及中间件，具备良好的数据平台设计经验，具有很强的分析与设计能力；\n3.熟悉Python、Shell、Java等语言的一种或几种；熟悉Oracle、MySQL、MongoDB、Redis、Cassandra、HBase及主流的数据库。", "workAddr": "太原-迎泽区-桥东-桥东街", "origin": "拉钩网"} {"positionName": "数据建模师", "companyName": "晟至互联网电力运营中心招聘", "companySize": "50-150人", "industryField": "数据服务,信息安全", "financeStage": "不需要融资", "companyLink": "https://www.lagou.com/gon...", "city": "太原", "salary": "9k-18k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金/年底双薪/节日礼品/生日礼品", "jobDetail": "职位描述：1、熟悉常用的数据模型方法如回归、聚类、关联分析等，熟悉操作数据提取、处理和分析软件，SQL、Python、SPSS等；2、对数据敏感、具备较强的数据分析能力、逻辑思考能力、沟通能力，有用户相关分析经验及建模经验优先；3、负责分析协助数据平台类产品开发、发现产品或业务的问题关键并可通过数据分析和内在联系，能独立解释数据分析结果并应用于实际业务中，为产品决策提供合理化建议；4、及时响应产品、运营、市场或者BD的数据统计和分析需求；任职资格：1、大专及以上学历，统计学、应用数学、计算机等相关专业，2年及以上相关工作经验，电力数据行业从业者优先；2、具有数据仓库、数据分析、数据挖掘理论知识，深入了解相关技术，具有海量数据挖掘项目实施和管理经验；3、责任心强，有良好的合作精神，沟通能力较强；4、本岗位驻场国家电网办公，可以接受短中期出差，介意者勿投。", "workAddr": "太原-万柏林区-千峰-国网山西省电力公司", "origin": "拉钩网"} {"positionName": "数据建模师", "companyName": "大元互联研发部招聘", "companySize": "50-150人", "industryField": "数据服务,人工智能", "financeStage": "不需要融资", "companyLink": "http://www.dayuan.com", "city": "太原", "salary": "9k-18k", "workYear": "经验1-3年", "education": "大专及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 13薪、节日礼品、生日卡、五险一金", "jobDetail": "1、熟悉常用的数据模型方法如回归、聚类、关联分析等，熟悉操作数据提取、处理和分析软件，SQL、Python、SPSS等；\n2、对数据敏感、具备较强的数据分析能力、逻辑思考能力、沟通能力，有用户相关分析经验及建模经验优先；\n3、负责分析协助数据平台类产品开发、发现产品或业务的问题关键并可通过数据分析和内在联系，能独立解释数据分析结果并应用于实际业务中，为产品决策提供合理化建议；\n4、及时响应产品、运营、市场或者BD的数据统计和分析需求；\n任职资格：\n1、大专及以上学历，统计学、应用数学、计算机等相关专业，2年及以上相关工作经验，电力数据行业从业者优先；\n2、具有数据仓库、数据分析、数据挖掘理论知识，深入了解相关技术，具有海量数据挖掘项目实施和管理经验；\n3、责任心强，有良好的合作精神，沟通能力较强；\n4、本岗位驻场国家电网办公，可以接受短中期出差，介意者务投。", "workAddr": "太原-万柏林区--国网山西省电力公司", "origin": "拉钩网"} {"positionName": "数据分析岗（可实习）", "companyName": "山西恒铂瑞招聘", "companySize": "50-150人", "industryField": "金融", "financeStage": "未融资", "companyLink": "https://www.lagou.com/gon...", "city": "太原", "salary": "6k-8k", "workYear": "经验1-3年", "education": "大专及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 理财", "jobDetail": "任职要求：\n1、年龄：20-45岁，五官端正，性格开朗，善于沟通；\n2、为人诚实，具有责任心、上进心，较强的执行力。\n3、以协助公司持续稳定盈利为最高目标，有志成为业内精英人才；\n岗位职责：1、搜集行业相关信息，为相关需求者提供更准确的数据信息；2、协助部门经理完善部门管理制度；3、对基本面、技术面进行分析研究，给出行情走势分析和判断，撰写研究报告上交公司；4、分析行情走势，为相关部门提供有价值的行情信息；5、丰富市场分析能力，做出每日分析计划，熟练掌握各种分析技术；\n薪资待遇：\n1、底薪：6K\n2、入职缴纳五险一金\n3、周六日双休，节假日正常休息\n4、朝九晚六点\n5、是一个不用出差不用销售的坐班式的岗位", "workAddr": "太原-小店区-坞城-长风街北方君威财富中心25层2505", "origin": "拉钩网"} {"positionName": "数据标注", "companyName": "综改示范区法瑞标注招聘", "companySize": "50-150人", "industryField": "人工智能", "financeStage": "未融资", "companyLink": "https://www.lagou.com/gon...", "city": "太原", "salary": "2k-4k", "workYear": "经验不限", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 工作内容轻松简单，只需熟练基础电脑操作。", "jobDetail": "工作内容轻松简单，只需熟练基础电脑操作，工作细心负责，无需相关工作经验。有岗前培训，不收取任何培训费用。 工作内容：数据分类，图片框选，区域标注，图片描点。 薪资待遇：平均综合薪资3000——5000，能者薪高，上不封顶。 工作时间：朝九晚六点半，周日休息，法定节假日带薪休假。晋升机制：晋升透明化 数据标注员—质检员—组长—项目助理—项目经理", "workAddr": "太原-小店区--孵化基", "origin": "拉钩网"} {"positionName": "bi数据分析师", "companyName": "饿了么招聘", "companySize": "2000人以上", "industryField": "消费生活", "financeStage": "D轮及以上", "companyLink": "http://ele.me", "city": "太原", "salary": "8k-16k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金 十三薪 各种补助 扁平化", "jobDetail": "岗位职责：1、负责部门日常数据报表的制定、维护、优化；2、支持运营相关业务数据分析和调取；3、对各品牌的营销活动效果深度分析总结；4、配合业务发展，挖掘数据背后的市场方向、规律、短板、为业务发展提供决策依据；5、通过数据分析，对业务运营KPI提升提出可落地的方案，并协助业务提升指标；6、满足部门对于运营数据的需求及其他领导安排的任务。任职要求：1、本科及以上学历，计算机相关、数学/统计学、信息技术，社会科学等与数理统计、应用统计、计算编程相关的专业优先；2、数据分析1年以上工作经历，有互联网相关经验优先；3、熟练操作excel、PPT等工具，具备SQL、hive等工具知识的优先；4、优秀的商业分析思维，善于思辨，敢于决断；能够针对某项业务，完成分析课题；5、优秀的沟通能力，强大的自驱力和抗压力。", "workAddr": "太原-小店区-和信商座", "origin": "拉钩网"} {"positionName": "数据分析工程师", "companyName": "筑龙信息招聘", "companySize": "150-500人", "industryField": "移动互联网", "financeStage": "不需要融资", "companyLink": "http://www.zhulong.com.cn", "city": "太原", "salary": "8k-12k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金、双休、节日礼品、员工旅游", "jobDetail": "职位描述：\n1、在离线数据环境进行数据库数据的查询并制作汇总统计表；\n2、配合产品人员进行产品数据的需求分析（招标采购交易行业）；\n3、针对不同业务场景编制对应的数据分析报告，包括系统内各维度数据和结合外部数据的统计分析，图文化呈现；\n4、配合产品设计和web开发实现业务环境数据图表的设计与制作；\n5、对于特定业务需求进行业务数据建模。\n职位要求：\n1、统计、应用数学、计算机等数据处理相关专业本科以上学历；\n2、两年以上独立数据分析相关工作经验；\n3、精通SPSS/SASS/Python/R等统计工具之一，熟练使用SQL查询，熟练操作EXCEL/Tableau/BI等图表制作工具之一，掌握聚类、分类、回归、时序模拟等算法的基本实现逻辑；\n4、掌握大数据相关理论知识，对分布式架构、数据模型、机器学习等有一定的了解；\n5、可适应偶尔的短期出差。", "workAddr": "太原-小店区-晋阳街发展路鼎晨时代广场12层", "origin": "拉钩网"} {"positionName": "数据分析师", "companyName": "亨泰金汇人事部招聘", "companySize": "15-50人", "industryField": "金融", "financeStage": "不需要融资", "companyLink": "https://www.lagou.com/gon...", "city": "太原", "salary": "6k-9k", "workYear": "经验1年以下", "education": "学历不限", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 周末双休+五险+底薪6k", "jobDetail": "薪资待遇：\n1. 底薪6000+双休2. 五险一金，早九晚六，周末双休，法定节假日;3. 公司有广阔的晋升空间，薪资晋升、职位晋升；可纵向、横向晋升\n\n岗位要求：\n1.大专及以上学历；2.积极主动，具有较好的沟通和学习能力；3.有一定的抗压能力; 4.具有持续改善和优化流程的意识。", "workAddr": "太原-万柏林区-长兴南街阳光城国际金融中心B座", "origin": "拉钩网"} {"positionName": "架构师", "companyName": "山西寰烁电子科技股份有限公司招聘", "companySize": "150-500人", "industryField": "教育", "financeStage": "未融资", "companyLink": "www.huanshuo.net", "city": "太原", "salary": "8k-16k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金，餐补", "jobDetail": "1、通过对系统的一系列的分解，最终形成了软件的整体架构，依据整体架构需要进行技术选型，分析各项技术的优劣及风险，最终确定整体架构设计方案\n2、通过对系统的需求分析，结合选型的数据库方案为系统构造出最优的数据存储模型，设定表与表的关联关系及系统优化方案\n3、通过对业务的分析，确定系统中核心功能及关键进行开发和重点监控\n4、带领团队攻克例如大数据量、高并发、高稳定性等带来的各种挑战及技术难关\n5、组织评审会议对各项目的设计方案的可用性，可维护性进行评审，指出其中不足之处。在项目需求不断细化的过程中优化整体的架构设计，以及详细模块拆分设计\n6、制定开发过程中的各项标准规范，如开发标注，代码安全标准，数据库设计标准等文档", "workAddr": "太原-小店区--南中环清控创新基", "origin": "拉钩网"} {"positionName": "腾讯新闻大数据开发工程师", "companyName": "腾讯招聘", "companySize": "2000人以上", "industryField": "社交", "financeStage": "上市公司", "companyLink": "http://hr.tencent.com", "city": "北京", "salary": "25k-50k", "workYear": "经验1-3年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 战略产品", "jobDetail": "岗位职责： \n主要负责腾讯新闻以下数据平台的开发与维护： 基础数据仓库，投放与运营分析平台，BI与报表系统，实时数据监控系统，AB实验平台，用户画像平台。\n \n\n岗位要求： \n1、全日制大学计算机相关专业硕士及以上学历，3年以上互联网或大数据相关工作经验； 2、扎实的计算机基础知识，良好的算法和编程功底，认真细致，对数据敏感，有团队合作精神； 3、熟悉hadoop生态，熟练掌握hive, spark, kafka，有多维分析工具如druid等应用经验者优先； 4、熟悉java，熟练使用python, shell等脚本语言，熟悉mysql, redis等DB，有BI系统开发经验者优先； 5、良好的数学和统计学基础，了解机器学习常用算法，具备特征分析等方面的基础知识，有用户画像开发经验者优先。", "workAddr": "北京-海淀区-西北旺-腾讯总部大厦", "origin": "拉钩网"} {"positionName": "大数据项目实施", "companyName": "Trusfort芯盾时代研发部招聘", "companySize": "150-500人", "industryField": "移动互联网,信息安全", "financeStage": "C轮", "companyLink": "http://www.trusfort.com", "city": "北京", "salary": "15k-25k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 晋升空间、年终奖", "jobDetail": "1、参与及负责大数据项目的实施落地。\n2、负责大数据产品相关文档编写及培训等工作。\n3、深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长。\n4、协助客户参与各种环境业务系统的投产及技术支持。\n5、协调项目资源，对于项目实施进度的规划、控制、监督和管理。\n6、负责与公司内相关部门沟通协调，制定整体方案，推进项目执行。\n7、负责定期汇报项目状态，跟进项目问题风险。\n \n任职要求：\n1、熟悉Linux操作系统常用命令。\n2、熟悉Tomcat、Weblogic基本操作及调优。\n3、熟悉MySQL、Oracle安装及相关配置，熟悉SQL基本操作。\n4、熟悉Hadoop、Redis、ElasticSearch、HBase、Spark、Storm、Kafka等大数据组件，对离线计算、内存计算和流式计算均有较为深刻理解。\n5、有一定的Java开发能力者优先。\n6、熟练掌握Power point、Excel、Project、Visio等工具。\n7、熟悉软件项目管理过程，具有较强的项目管理能力和沟通协调能力。\n8、具有较强的大局观，能够统筹跨团队项目，具有丰富的项目组织及人员管理经验，能够有效管理项目团队。\n9、具备较强的语言表达能力，能与客户顺畅沟通或产品介绍。\n10、具备较强的学习与动手能力，能够适应出差。", "workAddr": "北京-海淀区-万泉河-万柳亿城中心A座1203", "origin": "拉钩网"} {"positionName": "资深大数据开发工程师(J10330)", "companyName": "明略科技集团招聘", "companySize": "2000人以上", "industryField": "数据服务,广告营销", "financeStage": "D轮及以上", "companyLink": "http://www.miaozhen.com/", "city": "北京", "salary": "25k-35k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 年终奖金,福利多多,氛围轻松,爱心假日", "jobDetail": "工作职责:\n1. 负责公司大数据存储相关产品的架构设计和系统调优；\n2. 完善和优化现有存储系统，编写核心系统代码；\n3. 善于发现系统的性能瓶颈、设计缺陷，提出改进方案并实施；\n4. 对现有系统进行宏观的思考，规划形成统一的框架、平台或组件；\n5. 能够与产品经理、管理团队进行良好的沟通合作，按时保质保量完成开发任务。\n\n\n任职资格:\n1. 统招计算机科学或相关技术学科的学士、硕士学位（或同等学历）；\n2. Java相关开发经验3年以上，大数据开发经验3年以上，熟悉并理解缓存、消息、RPC调用框架、jvm 调优、序列化、nio等原理，对各种开源框架如Spring、dubbo等有深入了解，读过源代码、自己写过框架优先；\n3. 精通分布式数据处理底层技术，包括但不限于：hbase/elasticsearch/impala/kylin/doris等，懂druid.io佳；\n4. 具有强烈的责任心，良好的沟通、学习能力，良好的团队合作意识，勇于接受技术挑战；\n5. 熟悉go/c/c++语言优先；\n6. (GitHub上)有自己开源项目优先；\n7. 性格活泼，对技术充满热情。", "workAddr": "北京-朝阳区-阜通东大街望京soho", "origin": "拉钩网"} {"positionName": "高级/资深大数据开发工程师", "companyName": "滴滴招聘", "companySize": "2000人以上", "industryField": "汽车丨出行", "financeStage": "不需要融资", "companyLink": "http://www.didiglobal.com", "city": "北京", "salary": "20k-35k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 上升空间", "jobDetail": "岗位职责：\n1.负责信控产品大数据实时离线计算，数据服务需求开发\n2.负责多源数据融合平台，数据分析和数据指标体系的开发和建设\n3.支撑项目中数据端定制化需求开发，如数据接入，多源指标计算开发等\n4.大数据ETL、计算任务等需求分析、设计、开发、维护，调优\n任职要求\n1. 计算机、数学，电子，通信，软件工程等相关专业，扎实的计算机基础知识，3年以上工作经验。\n2. 熟悉Java，Scala，Python,理解Java集合，IO等基础知识，对JVM原理有一定的了解；可以使用Scala完成Spark/Flink任务开发;日常可以使用Python或者SQL完成数据分析工作。\n3. 熟悉Kafka，Hive/HiveSQL/Hive UDF，HBase，Spark，Flink，ElasticSearch等，有一定的数据分析能力。\n4. 有ETL，数据仓库建模实战经验，熟悉数据仓库维度建模理论。有离线大规模数据计算经验，熟悉实时计算框架及理论Flink/JStorm/Spark Structured Streaming等实时计算框架。\n5. 熟悉Spring/Spring Boot，Mybatis框架，并有实战经验优先。\n6. 有城市计算相关经验，包括：轨迹数据和地图数据分析经验优先。", "workAddr": "北京-海淀区-北京市海淀区东北旺西路8号数字山谷", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "世纪高通招聘", "companySize": "150-500人", "industryField": "移动互联网,其他", "financeStage": "上市公司", "companyLink": "http://www.cennavi.com.cn", "city": "北京", "salary": "13k-20k", "workYear": "经验1-3年", "education": "硕士及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 一年多薪 免费班车 公司出游", "jobDetail": "岗位职责：\n1.负责位置大数据应用系统的开发；\n2.负责海量位置数据的接入、清洗、处理和发布；\n3.负责位置数据处理逻辑与处理性能的优化；\n4.负责现有位置大数据工程的维护和迭代；\n\n岗位要求：\n1.有较强的英语或德语写作和沟通能力；\n2.有丰富的Scala和/或Java实践开发经验；\n3.有批处理（如Apache Spark）和流处理（如Apache Flink、Kafka）实战经验；\n4.能够熟练使用IntelliJ/Eclipse、Maven、Jenkins、Git、Jira、Confluence或类似工具的经验；\n5.了解AWS批/流处理以及监控组件；\n6.了解敏捷方法，如SCRUM、LESS等；\n7.善于团队合作并有较强的解决问题和决策能力；\n8.有地理空间分析以及空间数据使用经验者优先", "workAddr": "北京-海淀区-丰豪东路四维新大厦", "origin": "拉钩网"} {"positionName": "数据开发工程师", "companyName": "Paytm招聘", "companySize": "2000人以上", "industryField": "电商,移动互联网", "financeStage": "不需要融资", "companyLink": "http://www.paytm.com", "city": "北京", "salary": "15k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 发展前景 大牛团队 福利待遇", "jobDetail": "职责描述：\n1. 参与数据仓库架构设计与数据开发\n2. 负责数据平台相关数据管理工作，如研发规范、质量规范、保障规范的制定与推动实施落地\n3. 负责来自业务团队数据需求的研发支撑\n任职要求：\n1. 从事数据仓库领域工作至少3年以上，熟悉数据仓库模型设计方法论，并有实际模型设计及ETL开发经验\n2. 掌握大型数据库开发技术，必须熟练掌握Mysql，灵活运用SQL实现海量数据ETL加工处理，熟悉MongoDB者优先\n3. 至少掌握一门编程语言，如Java、Python、Perl、shell等\n4. 熟悉数据仓库领域知识和管理技能，包括但不局限于：元数据管理、数据质量、性能调优等\n5. 有从事分布式数据存储与计算平台应用开发经验，熟悉Hadoop生态相关技术并有相关实践经验着优先\n6. 良好的语言沟通与表达能力和自我驱动动力，英文能作为工作语言者优先。", "workAddr": "北京-朝阳区-酒仙桥-颐堤港", "origin": "拉钩网"} {"positionName": "Java大数据研发工程师", "companyName": "K2DATA招聘", "companySize": "150-500人", "industryField": "数据服务", "financeStage": "B轮", "companyLink": "http://www.k2data.com.cn", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 风口行业,大牛带路,扁平化,环境好", "jobDetail": "工作职责： 本岗位将参与昆仑数据全新产品体系的研发工作，以客户价值为导向，为客户构建高效、强大的工业大数据分析产品。你将参与发掘和分析业务需求，系统方案设计和代码编写，确保性能、质量和安全。你将接触到最新的数据分析大师、资深工业领域专家的工业数据分析方法与实践，学到最严谨规范的开发技术与流程，发展你个人的技术能力，领导力和有效的项目管理能力。在这个大家庭里，我们不仅鼓励大家开发出有价值、有影响力的产品给用户，我们同样鼓励大家多学习，多分享，多创新，在工作中找到最大的乐趣！\n任职资格－计算机相关专业本科及以上，2年以上的系统或应用软件的开发经验。－熟练掌握Java语言和面向对象思想，能写出整洁、高质量的代码。－精通常用关系数据库（PG、MySQL等）和各种NoSQL数据库。－熟悉并实践过Hadoop、Spark、Flink、Kakfa等任意一种大数据分析框架，并理解一定的底层原理。－精通RESTfulAPI开发，具备良好的API设计风格。－熟练使用Linux，理解并熟练使用Docker容器部署方式。－具备良好的软件工程和质量意识，认同并实践过敏捷开发和DevOps方法。\n优先任职资格－具备在快节奏，敏捷模式下开发新产品的激情。－曾经Lead团队开发复杂的软件产品，并成功地交付给用户。－具备全栈工程能力，掌握多种语言开发，如js，python，golang等。－曾经参与分布式系统开发，熟悉多个大数据产品生态和相关技术。－Linux高手，熟练掌握shell编程。－有指导年轻工程师提高技术能力和开发效率的经验。", "workAddr": "北京-海淀区-中关村智造大街A座", "origin": "拉钩网"} {"positionName": "大数据建模经理（Panel）(J10...", "companyName": "TalkingData数据中台招聘", "companySize": "500-2000人", "industryField": "移动互联网", "financeStage": "C轮", "companyLink": "http://www.talkingdata.com", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大数据,行业领先,领导靠谱,学习氛围", "jobDetail": "工作职责：\n1、遵循标准或非标准流程进行深层次高级数据分析\n2、在各种研究上与公司内部商业团队密切合作，包括但不限于:\n- 制定研究分析计划\n- 准备研究设计和抽样方案，以支持客户的提案\n- 为研究成果的使用提供分析支持\n- 其他定制化研究\n3）分析大规模数据集, 指导系统开发及优化实践\n4）设计并开发关于数据挖掘和机器学习算法类产品\n5）开发、实现及优化基于分布式系统的并行化算法\n6）运用过往经验去改善或创新项目流程以提高工作效率并确保项目的及时交付\n \n职位要求：\n1) 本科及以上学位，统计、数学或计算机科学相关专业优先\n2) 具有5年以上的机器学习、数据挖掘或推荐系统相关领域实操经验，\n3) 曾搭建过panel模型者优先考虑（秒针、Admaster、国双、尼尔森、艾瑞、CTR等）\n4) 具备在分布式系统上实现复杂算法的能力(Hadoop /Spark)，扎实的编码能力，精通Python / R, 会Scala/Java优先\n5) 具备较强的分析技能和问题解决能力，具有直接对接外部客户的经验，具有市场营销相关行业经验者优先\n6) 熟练掌握英语及普通话（书面及口语）", "workAddr": "北京-东城区-东直门-东直门外大街39号院2号楼航空服务大厦", "origin": "拉钩网"} {"positionName": "大数据技术经理(J10094)", "companyName": "必要商城技术部-数据分析和搜索部招聘", "companySize": "150-500人", "industryField": "电商", "financeStage": "不需要融资", "companyLink": "http://www.biyao.com", "city": "北京", "salary": "30k-50k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 团队强 大牛多", "jobDetail": "工作职责:1. 负责团队成员的日常管理、团队建设和项目推动工作；2. 负责大数据平台的技术选型和技术指导工作；3. 负责大数据行业内新技术的攻关和创新技术的引入；4. 规划团队技术体系和团队发展方向，引领团队技术提升；5. 推动大数据技术在公司各业务场景的落地实施。任职资格:1. 全日制211本科及以上学历，计算机相关专业，硕士学历优先；2. 5年以上大数据开发相关经验，其中2年以上团队管理经验；3. 丰富的大中型大数据架构开发/数据仓库项目的总体规划、方案设计、实施等相关经验；4. 熟悉离线和实时数据处理平台的搭建，优化与运行维护；5. 良好的学习能力，对技术前沿的发展有很大的好奇心；6. 逻辑思维能力强，思路清晰，良好的沟通协调能力。关键词：技术经理、团队管理、数据仓库、数据服务、数据架构、实时计算、流式计算、架构师", "workAddr": "北京-朝阳区-朝阳北路237号复星国际中心（铁呼家楼/东大桥站步行5分钟到）", "origin": "拉钩网"} {"positionName": "大数据开发工程师-ETL", "companyName": "Soul招聘", "companySize": "150-500人", "industryField": "社交,文娱丨内容", "financeStage": "C轮", "companyLink": "http://www.soulapp.cn", "city": "北京", "salary": "20k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 高薪资,上升空间,扁平管理,期权股权", "jobDetail": "岗位职责： \n1、负责soul推荐算法的数据体系的建设，通过数据+工程化能力，处理和萃取数据，满足算法生产和产品分析； \n2、参与算法阶段的数仓的基础架构和技术体系的规划建设，包括且不限于流式日志、特征工程、数据报表、数 据监控等。 \n3、为产出的数据准确性负责，参与数据管控和数据治理； \n\n岗位要求： \n1、3年以上ETL开发经验； \n2、熟悉数据仓库架构，熟悉数据建模理论和方法，并具有1年以上数据仓库/数据集市建设经验； \n3、掌握基于Hadoop、Hive、Spark等大数据组件的ETL开发方法； \n4、具有娴熟的沟通技巧，执行力强，具有优秀的团队合作精神、敬业精神； \n\n加分项： \n熟悉推荐流程及基本推荐算法，有特征工程或模型训练日志相关经验；", "workAddr": "北京-西城区-展览路-新华1949园区3号楼", "origin": "拉钩网"} {"positionName": "美团打车-数据开发", "companyName": "美团点评出行事业部-美团打车招聘", "companySize": "2000人以上", "industryField": "消费生活", "financeStage": "上市公司", "companyLink": "http://www.meituan.com", "city": "北京", "salary": "35k-45k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 平台大、氛围好", "jobDetail": "岗位职责：\n1.深入理解业务逻辑，完成数据模型设计及优化工作；\n2.完成海量数据的获取、清洗、分类、整合等数据处理工作，参与团队大数据开发流程的优化以及相关技术问题的解决；\n3. 配合产品经理完成业务数据的梳理和分析，提供高可用解决方案；\n4.参与或负责团队数据治理工作。\n岗位要求：\n1.计算机、数学或统计学相关专业本科以上学历；熟悉互联网行业，3年以上DW/ETL/BI工作经验；熟练掌握至少一种主流ETL/BI解决方案 ；\n2.精通数据仓库架构及原理，具备大型数据仓库架构设计、模型设计等相关经验，有数据ETL、建模或数据分析相关经验；\n3.精通hive/mysql。有一定的hql/sql性能调优经验，熟悉Hadoop/spark/kafka/storm/flink等一项或多项大数据处理技术。\n具备以下者优先：\n1.对数据敏感，有较强的逻辑分析能力，对大数据处理技术有强烈热情；\n2.在数据质量、元数据等数据治理方面有经验者优先。\n岗位亮点：\n1.美团点评崇尚用数据说话，数据在日常管理决策中发挥着重要作用；\n2.能经历业务快速发展给数据仓库带来的持续挑战，不断突破自我，和团队一起成长；\n3.团队内有良好的技术氛围，跟进业界前沿的技术解决方案。", "workAddr": "北京-朝阳区-容达路7号院3号楼太极计算机股份有限公司B座", "origin": "拉钩网"} {"positionName": "大数据技术经理", "companyName": "深演智能招聘", "companySize": "150-500人", "industryField": "移动互联网,广告营销", "financeStage": "D轮及以上", "companyLink": "http://www.lagou.com/gong...", "city": "北京", "salary": "30k-50k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 升职加薪快 扁平管理", "jobDetail": "工作职责:\n1、管理项目团队整体技术，根据业务需求搭建项目框架和实施方案；\n2、主导大数据平台的建设和各组件选型、设计和优化工作；\n3、指导团队成员，负责项目团队成员的建设和管理；\n4、大数据行业内新技术的攻关和创新技术的引入；\n5、负责完成项目相关技术的方案设计，参与团队项目代码评审；\n6、规划项目团队的大数据技术体系和团队成员技术成长。\n任职资格:\n1、全日制本科以上，计算机相关专业；\n2、6年以上工作经验，2年以上大数据开发实战经验；\n3、丰富的大中型大数据平台或者应用项目的架构，系统设计和开发经验，或者具有数仓类项目的总体规划、方案设计、实施等相关经验；\n4、熟悉Hadoop生态圈的各组件，了解各组件的特性和优劣特点；对某些组件有深刻理解并有性能调优经验\n5、熟悉和了解业界常用大数据平台产品者，熟悉常见大数据公有云PaaS，SaaS服务者优先，；\n6、有大集群上开发，部署，运维经验者优先。\n7、良好的学习能力，对技术前沿的发展有很大的好奇心；\n8、逻辑思维能力强，思路清晰， 良好的沟通协调能力。", "workAddr": "北京-朝阳区-双井-东三环中路20号乐成中心A座9层", "origin": "拉钩网"} {"positionName": "大数据运维工程师", "companyName": "销售易运维部招聘", "companySize": "500-2000人", "industryField": "移动互联网,数据服务", "financeStage": "D轮及以上", "companyLink": "http://www.xiaoshouyi.com", "city": "北京", "salary": "15k-25k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金，硅谷大牛", "jobDetail": "工作职责:\n岗位职责：\n负责公司大数据集群的运维工作（Kafka/Hadoop/HBase/Spark/Flink/Clickhouse等）；\n负责集群性能优化，扩容\n负责hadoop集群的监控、数据备份、数据监控、报警、故障处理；\n研究运维相关技术，根据系统需求制定运维技术方案，开发自动化运维工具和运维辅助系统；\n深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向；\n\n任职要求：\n有2年以上大数据集群运维经验；\n有实际部署经验，并能够独立排查及解决问题。熟悉hadoop在运行环境，任务调度，参数配置等方面的调优；\n精通Python、Shell、Java中任一语言，熟悉linux开发环境以及相应的配置、管理及优化；\n熟悉Hadoop生态圈，包含但不限于Hbase/Hadoop/Zookeeper/Spark/Kafka等，能够独立部署并上线运行；\n有流数据处理运维经验，ETL pipeline处理经验者优先考虑\n有Flink/Clickhouse运维经验的候选人优先\n有一定开发经验，能协助大数据环境下的性能问题定位和优化的候选人优先\n有在线实时获取、传输、计算、反馈相关系统部署经验；\n有创新精神和团队意识，可以将想法转化成行动。\n熟悉Docker；\n计算机及相关专业本科及以上学历，三年以上相关工作经验；\n\n\n任职资格:\n优先条件：\n熟悉云计算相关技术，有2年腾讯云、阿里云或AWS使用经验，有AWS认证为佳；\n有Java开发背景最佳；", "workAddr": "北京-朝阳区-朝阳北路237号复星国际中心21层", "origin": "拉钩网"} {"positionName": "大数据研发高级工程师", "companyName": "翼课网招聘", "companySize": "500-2000人", "industryField": "移动互联网,教育", "financeStage": "不需要融资", "companyLink": "http://www.ekwing.com", "city": "北京", "salary": "18k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 队伍年轻,年终奖金,大牛过招,环境耐撕", "jobDetail": "工作职责：1.1 完成大数据系统工程建设。包括离线和实时架构和业务。1.2 完成业务需求，包括数据采集、存储、计算、展示 等流程建设。1.3 保证数据质量，包括数据校验、异常监控、报警处理。1.4 研究学习新技术，引入新思路，解决业务问题，保持技术领先性。任职要求：1.1 计算机、软件、数学 等相关专业或具有相应能力。1.2 熟悉实时数据流计算，包括spark streaming、flink 、kafka。1.3 熟悉hadoop体系。包括hdfs、hbase、hive、YARN。1.4 熟悉计算引擎和即席查询。包括MR/hive、Tez、spark sql、Impala、Presto。1.5 熟悉展示图形系统。包括Zeppelin、Superset、Kylin 。1.6 熟悉常用数据建模。", "workAddr": "北京-大兴区-马驹桥-经济技术开发区西环南路26号院30号楼A座905", "origin": "拉钩网"} {"positionName": "大数据架构师", "companyName": "旺钧电子商务招聘", "companySize": "50-150人", "industryField": "通讯电子", "financeStage": "未融资", "companyLink": "https://www.lagou.com/gon...", "city": "北京", "salary": "40k-80k", "workYear": "经验不限", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大型互联网平台", "jobDetail": "岗位职责：\n1、负责基于Hadoop/Spark等生态系统的大数据平台的架构设计、技术选型、搭建、开发、管理、监控和性能调优，保证集群高效稳定运行，对数据应用提供数据存储、查询引擎、实时计算、元数据管理的架构设计；\n2、系统核心部分代码编写、指导和培训工程师、不断进行系统优化；\n3、跨团队/部门协作，系统分析并解决各类大数据平台相关的运行或数据问题；\n4、打造有行业竞争力的系统，能够支撑快速发展的数据业务。\n\n岗位要求：\n1、本科及以上学历，5年以上的大数据从业经验。\n2、有大型分布式系统设计经验，负责过海量数据平台上高可用、高性能分式系统的架构设计。\n3、精通任意一门编程语言，对大数据基础架构和平台底层原理有深度理解和丰富开发经验, 对复杂系统的性能优化和稳定性提升有一线实战经验，具备相关产品（Hadoop、Hive、HBase、Kafka、MapReduce、Spark等）项目应用研发经验；对开源社区有贡献者优先；\n4、熟悉Greenplum、TiDB数据库技术有实际生产项目应用经验者优先； \n5、具有一定的项目规划和决策能力，善于捕捉业务需求、架构设计存在的问题，并给出有效的解决措施和方法；", "workAddr": "北京-朝阳区-望京-东方国信大厦", "origin": "拉钩网"} {"positionName": "大数据开发实习生-抖音/火...", "companyName": "字节跳动招聘", "companySize": "2000人以上", "industryField": "文娱丨内容", "financeStage": "C轮", "companyLink": "http://www.bytedance.com", "city": "北京", "salary": "3k-6k", "workYear": "经验不限", "education": "本科及以上", "jobNature": "实习", "positionAdvantage": "职位诱惑：\n 免费三餐，休闲下午茶，过亿用户，职业大牛", "jobDetail": "职位职责：\n1、负责字节跳动海量用户行为数据的处理，在分布式计算平台基础上建立高效、实时的数据 pipeline； \n2、负责推荐系统、广告系统的数据分析，发现模式与规律，为实验解释、系统改进提供数据支持； \n3、负责 Hadoop，Spark 等大数据基础设施和平台的改进，解决大规模生产环境集群可用性和性能优化问题。\n\n职位要求：\n1、本科及以上学历，计算机相关专业，每周可实习4天以上，持续3个月以上，19届校招生优先；\n2、热爱计算机科学和互联网技术，优秀的编码能力，乐于快速学习和尝试新技术、新工具；\n3、对数据敏感，掌握量化分析方法，善于从数据中发现问题，提出假设并使用数据进行验证；\n4、对至少一项分布式计算平台有使用经验，例如 Hadoop，Spark，Hive，Storm，Kafka 等；\n5、有参与开源项目对社区有贡献的经历，有互联网公司实习经历，有大数据处理或用户行为数据分析经验者优先。", "workAddr": "北京-海淀区-北京市海淀区北三环西路43号中航广场", "origin": "拉钩网"} {"positionName": "云大数据开发平台研发工程...", "companyName": "腾讯招聘", "companySize": "2000人以上", "industryField": "社交", "financeStage": "上市公司", "companyLink": "http://hr.tencent.com", "city": "北京", "salary": "30k-60k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 发展机会大、待遇优、团队优秀", "jobDetail": "岗位职责1.负责调研并设计大数据开发平台的系统架构，并能持续优化，保障系统稳定性；2.负责与客户进行持续需求沟通，通过完善产品功能服务好企业客户；2.通过梳理和抽象，沉淀通用性的平台或服务能力。岗位要求1 计算机、通信等相关专业，本科及以上学历，3年以上大型互联网产品或分布式系统开发设计经验；2 扎实的java技术基础，对linux，分布式系统，高并发等技术经验丰富；3 对hadoop生态相关组件如spark, airflow等精通；4 有企业级大数据开发平台研发经验，对云厂商大数据开发平台如dataworks等架构熟悉者优先；", "workAddr": "北京-海淀区-五道口-希格玛大厦/泰鹏大厦/银科大厦/其他", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "Trusfort芯盾时代智能安全研发部招聘", "companySize": "150-500人", "industryField": "移动互联网,信息安全", "financeStage": "C轮", "companyLink": "http://www.trusfort.com", "city": "北京", "salary": "15k-30k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金,工作居住证,节日福利,出国旅游", "jobDetail": "工作职责：\n1、参与系统的需求分析和技术方案预研。\n2、负责大数据产品的研发、设计工作，及大数据平台的完善；\n3、负责各种生产、测试环境业务系统问题的快速定位和解决；\n4、负责代码编写、单元测试，确保代码执行性能、质量和安全；\n5、协助客户参与各种环境业务系统的投产及技术支持。\n \n任职要求：\n1、思路清晰，善于思考，能独立分析和解决问题，较强的表达和沟通能力，责任心强，具备良好的团队合作精神和承受压力的能力，能接收项目驻场；\n2、熟练使用Kafka、Redis、Storm、ElasticSearch等大数据组件，并有相关项目开发经验；\n3、对MySQL、Oracle数据库有一定的了解和使用经验；\n4、对Tomcat、Weblogic服务器有一定的了解和使用经验；\n5、有Java开发经验者优先；\n6、有shell、Python开发经验者优先；\n7、工作积极主动，具有良好的团队协作精神；\n8、逻辑清晰，快速的学习能力及良好的沟通能力。", "workAddr": "北京-海淀区-万泉河-万柳亿城中心C1座1703", "origin": "拉钩网"} {"positionName": "高级大数据开发工程师(J10330)", "companyName": "明略科技集团招聘", "companySize": "2000人以上", "industryField": "数据服务,广告营销", "financeStage": "D轮及以上", "companyLink": "http://www.miaozhen.com/", "city": "北京", "salary": "20k-35k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 年终奖金,福利多多,氛围轻松,爱心假日", "jobDetail": "工作职责：1. 负责公司数据存储相关产品的架构设计和系统调优；2. 完善和优化现有存储系统，编写核心系统代码；3. 善于发现系统的性能瓶颈、设计缺陷，提出改进方案并实施；4. 对现有系统进行宏观的思考，规划形成统一的框架、平台或组件；5. 能够与管理团队进行良好的沟通合作，按时保质保量完成开发任务。岗位要求：1. 计算机科学或相关技术学科的学士、硕士学位（或同等学历），扎实的数据结构和算法知识；2. Java相关开发经验2年以上，熟悉并理解缓存、消息、RPC调用框架、jvm 调优、序列化、nio等原理，深刻理解面向对象、设计原则、封装抽象等；3. 精通分布式数据处理底层技术，熟悉常用开源数据库系统，包括但不限于：hbase/elasticsearch/greenplum/kylin/druid.io等，可对其进行二次开发和重新编译；4. 具有强烈的责任心，良好的沟通、学习能力，良好的团队合作意识，勇于接受技术挑战；5. 熟悉go/c/c++语言优先；6. (GitHub上)有自己开源项目优先；7. 性格活泼，对技术充满热情。", "workAddr": "北京-朝阳区-阜通东大街望京soho", "origin": "拉钩网"} {"positionName": "数据应用开发经理/技术负责人", "companyName": "K2DATA招聘", "companySize": "150-500人", "industryField": "数据服务", "financeStage": "B轮", "companyLink": "http://www.k2data.com.cn", "city": "北京", "salary": "20k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 行业风口", "jobDetail": "岗位职责：\n1. 负责数据应用整体技术方案选型、设计、评审、开发任务拆解和开发资源计划；\n2. 带领团队完成产品或项目的开发交付工作，掌握进度和风险，解决技术难题；\n3. 负责协调和沟通开发或实施各个环节技术相关内容；\n任职要求：\n1.有5年以上Java研发和软件设计经验及3年以上项目开发及技术部门管理经验；\n2.有主导大型企业信息系统从0到1的设计开发集成实施经验（行业不限）;\n3.有云迁移和微服务架构经验优先；\n4.具备良好的系统分析能力，良好的抽象思维和逻辑思维能力，独立分析问题解决问题的能力；\n5.有责任感，具备较强的沟通协调能力及团队合作精神。", "workAddr": "北京-海淀区-中关村智造大街A座", "origin": "拉钩网"} {"positionName": "大数据开发工程师（spark）(J...", "companyName": "TalkingData研发部招聘", "companySize": "500-2000人", "industryField": "移动互联网", "financeStage": "C轮", "companyLink": "http://www.talkingdata.com", "city": "北京", "salary": "20k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大数据,行业领先,领导靠谱,学习氛围", "jobDetail": "工作职责:\n1. 负责品牌监测产品，亿级别数据的处理、挖掘、治理、服务等工作；\n2. 参与数据仓库和大数据处理模块的架构设计和开发等工作；\n3. 参与数据平台、工具平台的架构、设计以及实现等工作；\n4. 与数据分析师、数据产品、优化数据处理，丰富数据价值。\n\n\n任职资格:1. 计算机相关专业，本科及以上学历；\n2. 熟悉OLAP和OLTP技术，熟悉数据仓库原理，熟练SQL语言；\n3. 掌握Hadoop/Spark生态系统组件的使用，至少有2年的Spark(Core/SQL)开发经验；\n4. 精通Scala/Java语言，熟悉Linux/Unix开发环境；\n5. 有优良的Trouble Shooting能力，对新技术有孜孜不倦的热情，具有良好的学习能力；\n6. 具有良好的沟通协作能力，喜欢专研，具有较强的分享意愿，对业务有很好的理解能力；\n7. 有过海量数据系统开发经验者优先；\n8. 有HBase、Kafka、ES(ELK)、Greenplum等经验者优先；", "workAddr": "北京-东城区-东直门-东直门外大街39号院2号楼航空服务大厦", "origin": "拉钩网"} {"positionName": "大数据研发工程师", "companyName": "深演智能招聘", "companySize": "150-500人", "industryField": "移动互联网,广告营销", "financeStage": "D轮及以上", "companyLink": "http://www.lagou.com/gong...", "city": "北京", "salary": "16k-32k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 升职加薪快 扁平管理", "jobDetail": "工作职责:1、基于深演云平台（包括不限于hadoop、storm、spark、Hbase、Druid等框架），参与各产品线的开发和优化；2、通过数据分析和数据挖掘，支撑精细化运营及决策；3、参与人工智能算法在大数据平台的工程化、产品化工作。任职资格:1、计算机相关专业本科及以上学历；2、良好的编程基础和数据结构基础，熟悉机器学习算法的加分；3、熟悉java、scala、Python、C++中任意一种；4、有Hadoop等大数据经验者优先；5、优秀的学习能力和抗压能力，具备良好的团队意识，积极主动。2008年，我们由三位北大青年，前宝洁、麦肯锡、Google高管联合创立而成，目前是一家分布于北京、上海、广州、西雅图、伦敦、新加坡、香港7个地区的国际性创新型人工智能公司，我们将致力于通过人、信息和决策场景的智慧连接，让人工智能真正赋能决策者，助力企业与社会数字化、智能化，加入我们你将获得：无限广阔的行业前景： 让人工智能技术真实地应用和落地，横跨数据智能、智能营销多个万亿级别市场**领先的行业地位：营销决策智能化行业****，占有59.8%的中国程序化广告市场份额简单公平的职场环境：简单的人际关系、公平的晋升机制，我们相信每个人的努力都应该被看到牛人聚集的精英团队：来自麦肯锡、宝洁、Google、微软的核心团队，来自哈佛、哥伦比亚、清华、北大的骨干精英，与牛人同行，让自己变得更加优秀充满挑战的工作内容：拒绝面试造火箭、入职拧螺丝，在深演新人也能承担千万级别的项目全面健全的福利体系：六险一金、企业年金、员工宿舍、购房无息贷款、各种节日福利、再学习成长基金、国际交流学习机会", "workAddr": "北京-朝阳区-双井-东三环中路20号乐成中心A座9层", "origin": "拉钩网"} {"positionName": "大数据运维工程师", "companyName": "销售易运维部招聘", "companySize": "500-2000人", "industryField": "移动互联网,数据服务", "financeStage": "D轮及以上", "companyLink": "http://www.xiaoshouyi.com", "city": "北京", "salary": "15k-25k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金，硅谷大牛", "jobDetail": "工作职责:\n岗位职责：\n负责公司大数据集群的运维工作（Kafka/Hadoop/HBase/Spark/Flink/Clickhouse等）；\n负责集群性能优化，扩容\n负责hadoop集群的监控、数据备份、数据监控、报警、故障处理；\n研究运维相关技术，根据系统需求制定运维技术方案，开发自动化运维工具和运维辅助系统；\n深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向；\n\n任职要求：\n有2年以上大数据集群运维经验；\n有实际部署经验，并能够独立排查及解决问题。熟悉hadoop在运行环境，任务调度，参数配置等方面的调优；\n精通Python、Shell、Java中任一语言，熟悉linux开发环境以及相应的配置、管理及优化；\n熟悉Hadoop生态圈，包含但不限于Hbase/Hadoop/Zookeeper/Spark/Kafka等，能够独立部署并上线运行；\n有流数据处理运维经验，ETL pipeline处理经验者优先考虑\n有Flink/Clickhouse运维经验的候选人优先\n有一定开发经验，能协助大数据环境下的性能问题定位和优化的候选人优先\n有在线实时获取、传输、计算、反馈相关系统部署经验；\n有创新精神和团队意识，可以将想法转化成行动。\n熟悉Docker；\n计算机及相关专业本科及以上学历，三年以上相关工作经验；\n\n\n任职资格:\n优先条件：\n熟悉云计算相关技术，有2年腾讯云、阿里云或AWS使用经验，有AWS认证为佳；\n有Java开发背景最佳；", "workAddr": "北京-朝阳区-朝阳北路237号复星国际中心21层", "origin": "拉钩网"} {"positionName": "大数据研发高级工程师", "companyName": "翼课网招聘", "companySize": "500-2000人", "industryField": "移动互联网,教育", "financeStage": "不需要融资", "companyLink": "http://www.ekwing.com", "city": "北京", "salary": "18k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 队伍年轻,年终奖金,大牛过招,环境耐撕", "jobDetail": "工作职责：1.1 完成大数据系统工程建设。包括离线和实时架构和业务。1.2 完成业务需求，包括数据采集、存储、计算、展示 等流程建设。1.3 保证数据质量，包括数据校验、异常监控、报警处理。1.4 研究学习新技术，引入新思路，解决业务问题，保持技术领先性。任职要求：1.1 计算机、软件、数学 等相关专业或具有相应能力。1.2 熟悉实时数据流计算，包括spark streaming、flink 、kafka。1.3 熟悉hadoop体系。包括hdfs、hbase、hive、YARN。1.4 熟悉计算引擎和即席查询。包括MR/hive、Tez、spark sql、Impala、Presto。1.5 熟悉展示图形系统。包括Zeppelin、Superset、Kylin 。1.6 熟悉常用数据建模。", "workAddr": "北京-大兴区-马驹桥-经济技术开发区西环南路26号院30号楼A座905", "origin": "拉钩网"} {"positionName": "大数据架构师", "companyName": "旺钧电子商务招聘", "companySize": "50-150人", "industryField": "通讯电子", "financeStage": "未融资", "companyLink": "https://www.lagou.com/gon...", "city": "北京", "salary": "40k-80k", "workYear": "经验不限", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大型互联网平台", "jobDetail": "岗位职责：\n1、负责基于Hadoop/Spark等生态系统的大数据平台的架构设计、技术选型、搭建、开发、管理、监控和性能调优，保证集群高效稳定运行，对数据应用提供数据存储、查询引擎、实时计算、元数据管理的架构设计；\n2、系统核心部分代码编写、指导和培训工程师、不断进行系统优化；\n3、跨团队/部门协作，系统分析并解决各类大数据平台相关的运行或数据问题；\n4、打造有行业竞争力的系统，能够支撑快速发展的数据业务。\n\n岗位要求：\n1、本科及以上学历，5年以上的大数据从业经验。\n2、有大型分布式系统设计经验，负责过海量数据平台上高可用、高性能分式系统的架构设计。\n3、精通任意一门编程语言，对大数据基础架构和平台底层原理有深度理解和丰富开发经验, 对复杂系统的性能优化和稳定性提升有一线实战经验，具备相关产品（Hadoop、Hive、HBase、Kafka、MapReduce、Spark等）项目应用研发经验；对开源社区有贡献者优先；\n4、熟悉Greenplum、TiDB数据库技术有实际生产项目应用经验者优先； \n5、具有一定的项目规划和决策能力，善于捕捉业务需求、架构设计存在的问题，并给出有效的解决措施和方法；", "workAddr": "北京-朝阳区-望京-东方国信大厦", "origin": "拉钩网"} {"positionName": "数据仓库开发工程师", "companyName": "好未来招聘", "companySize": "2000人以上", "industryField": "教育", "financeStage": "上市公司", "companyLink": "http://www.100tal.com/", "city": "北京", "salary": "20k-38k", "workYear": "经验不限", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大平台、好福利、大牛云集", "jobDetail": "职位职责：1、负责数据仓库建模和etl开发，构建可扩展的数据仓库和分析解决方案2、负责建立某个业务方向的数据分析模型，为业务赋能。职位要求1、3年以上数据开发经验2、良好的业务理解能力，对数据敏感。3、具备强悍的编程能力，熟练使用sql,熟悉java或python语言。4、精通至少2项分布式计算平台，例如hadoop,spark,hive,flink,kafka等。5、熟悉数据仓库建模方法论。", "workAddr": "北京-昌平区-回龙观-龙冠和谐大厦", "origin": "拉钩网"} {"positionName": "大数据算法工程师", "companyName": "用友数据运营中心招聘", "companySize": "2000人以上", "industryField": "企业服务", "financeStage": "上市公司", "companyLink": "http://www.yonyou.com", "city": "北京", "salary": "25k-45k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 稳定大平台，业务营收好，福利完善，股票", "jobDetail": "用友集团总部直招，非外包，非驻场；\n靠谱大平台，发展稳健，抗风险能力强；\n2个月年终奖，每月不晚于5号发工资；\n五险一金全额缴纳，班车篮球场健身房食堂宿舍。\n\n主要职责： \n负责集团总部，数据运营中心大数据智能分析项目设计和研发。 \n\n任职资格：\n1、全日制统招本科及以上学历，计算机、通信、数学等相关专业，有5年以上大数据平台搭建及数据处理的工作经验。\n2、熟悉Linux操作系统MySQL等数据库，了解SQL优化，熟悉ER模型和相关据建模技术，能够熟练使用Java、Scala、Python、Shell。\n3、熟悉 Hadoop/Hive/Spark/Hbase/Kafka/Flink 的体系架构和运行原理，有大数据处理方面经验。\n4、具有大型数据仓库和ETL开发、HIVE经验优先。\n5、熟悉机器学习算法（决策树、回归、聚类、预测，文本挖掘等），有推荐系统算法相关算法项目经验。\n6. 有较强的自学能力、钻研精神和动手能力，具有良好的逻辑思维能力、沟通能力和团队协作能力，做事认真、踏实、负责。", "workAddr": "北京-海淀区-西北旺-北清路68号用友软件园（铁16号线“永丰”站）", "origin": "拉钩网"} {"positionName": "高级大数据研发工程师", "companyName": "易观招聘", "companySize": "150-500人", "industryField": "移动互联网,数据服务", "financeStage": "B轮", "companyLink": "http://www.analysys.cn/", "city": "北京", "salary": "25k-50k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 互联网大数据领先品牌 六险一金 期权激励", "jobDetail": "岗位职责：\n参与设计、研发大数据平台；\n帮助平台用户构建基于大数据的数据产品和应用，将大数据快速转变成商业价值；\n从事大数据的OLAP引擎、实时计算，文件存储的研究和开发；\n负责大数据系统的性能分析与系统优化，不断提高系统运行效率。\n\n任职要求：\n熟悉Hadoop平台及主要子项目，有一年以上大数据组件的使用和二次开发经验；\n熟悉shell,python、java至少一种；\n对Hadoop、HBase、Zookeeper、impala、presto之一有深入理解并在现实项目中大规模应用；\n熟悉MongoDB、Redis、Memcache,对 hive,flume有研发经验者优先；\n具备快速学习掌握新知识的能力，优秀的分析、解决问题能力，具备良好的抽象归纳能力和创新能力。", "workAddr": "北京-朝阳区-恒通商务园", "origin": "拉钩网"} {"positionName": "大数据DBA", "companyName": "慧科讯业招聘", "companySize": "500-2000人", "industryField": "文娱丨内容", "financeStage": "未融资", "companyLink": "http://www.wisers.com.cn", "city": "北京", "salary": "15k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金，年底双薪，优秀团队", "jobDetail": "职位描述:\n• 负责日常数据库管理、监控、分析、性能调优、故障诊断与排除等；\n• 负责数据库备份、升级、恢复和监控，保证数据的安全；\n• 负责对中间件安装实施、性能优化、故障诊断等；\n• 对应用系统中的中间件问题，通过分析诊断，并给出解决方案；\n\n职位要求:\n• 本科及以上学历,3年以上数据库管理、开发、设计及系统支持经验\n• 熟悉至少一种关系型数据库运维管理：MySQL/PostgreSQL等\n• 熟悉至少一种OLAP数据库运维管理：Druid/Clickhouse等\n• 掌握数据库群集,应用运维体系及高可用解决方案；\n• 掌握ES/Solr/Redis等数据库运维管理；\n• 具备较强的学习能力，高度的工作热情，良好的团队合作精神及沟通与理解能力；", "workAddr": "北京-朝阳区-三元桥-曙光西里甲5号凤凰置广场f座19层1901", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "聚量传媒招聘", "companySize": "15-50人", "industryField": "移动互联网,广告营销", "financeStage": "不需要融资", "companyLink": "http://www.juliangchuanme...", "city": "北京", "salary": "15k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 全额五险一金、双休", "jobDetail": "工作职责：\n1、负责广告投放系统大数据处理部分的系统设计和架设；\n2、撰写相应的业务处理逻辑代码；\n3、负责系统性能调优；\n4、根据需求负责查询代码的编写和临时性数据查询工作。\n \n任职要求：\n1、本科以上学历，熟悉大数据处理技术，并具备10亿级以上数据实时处理的经验；\n2、精通Druid、spark、Hadoop、kafka，flume、HDFS+MapReduce；\n3、对于大数据系统的搭建及调优有丰富的经验。", "workAddr": "北京-朝阳区-大望路-东方梅亚中心C座", "origin": "拉钩网"} {"positionName": "大数据研发工程师", "companyName": "翼课网招聘", "companySize": "500-2000人", "industryField": "移动互联网,教育", "financeStage": "不需要融资", "companyLink": "http://www.ekwing.com", "city": "北京", "salary": "9k-15k", "workYear": "经验应届毕业生", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 专业导师、队友奈斯、周末双休、五险一金", "jobDetail": "工作职责：1.1 完成大数据系统工程建设。包括离线和实时架构和业务。1.2 完成业务需求，包括数据采集、存储、计算、展示 等流程建设。1.3 保证数据质量，包括数据校验、异常监控、报警处理。1.4 研究学习新技术，引入新思路，解决业务问题，保持技术领先性。任职要求：1.1 计算机、软件、数学 等相关专业或具有相应能力。1.2 熟悉实时数据流计算，包括spark streaming、flink 、kafka。1.3 熟悉hadoop体系。包括hdfs、hbase、hive、YARN。1.4 熟悉计算引擎和即席查询。包括MR/hive、Tez、spark sql、Impala、Presto。1.5 熟悉展示图形系统。包括Zeppelin、Superset、Kylin 。1.6 熟悉常用数据建模", "workAddr": "北京-大兴区-马驹桥-经济技术开发区西环南路26号院30号楼A座905", "origin": "拉钩网"} {"positionName": "大数据架构师", "companyName": "用友平台与数据智能事业部招聘", "companySize": "2000人以上", "industryField": "企业服务", "financeStage": "上市公司", "companyLink": "http://www.yonyou.com", "city": "北京", "salary": "26k-50k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 稳定大平台，业务营收好，福利完善，股票", "jobDetail": "用友集团总部直招，非外包，非驻场；\n靠谱大平台，发展稳健，抗风险能力强；\n2个月年终奖，每月不晚于5号发工资；\n五险一金全额缴纳，班车篮球场健身房食堂宿舍。\n\n主要职责：\n1、负责数据应用产品的研发及架构相关工作。\n2、和产品经理一起推进项目需求落地，将业务和产品需求转变成为技术实现方案。\n3、深入理解产品的需求、场景、后续发展方向，参与核心模块代码开发。\n4、作为关键技术攻坚人员，解决重大项目的技术疑难问题。\n\n任职资格：\n1. 全日制统招本科，3年以上基于java的项目开发经验。\n2. 熟练掌握语言基础实现原理、数据结构、并发编程，以及常用的设计模式，熟悉MVC、ORM、AOP、IOC等设计思想。\n3. 熟悉JRE原理，能够对其调优和故障分析。\n4. 熟悉白盒测试，能够编写junit或testng测试用例。\n5. 具有良好的编码习惯，编写的代码要求：思路清晰，逻辑简洁，命名规范。\n6. 熟练使用Git, Maven，Gradle等工具，熟悉Tomcat，Nginx等开源服务器。\n7. 精通基于J2EE的相关技术，精通Spring, Mybatis等框架，熟练编写Rest服务，能够封装过对外接口。\n\n加分项：\n1. 熟练使用主流关系型数据库 Orcale，SQL Server，MySQL等，如果有数据库性能调优工作经历的优先。\n2. 掌握分布式通讯框架（Dubbo等NIO框架）、分布式存储（fastDFS、HDFS等）、分布式缓存（Memcached集群、redis集群）、分布式事务处理方案的优先考虑。\n3. 了解大数据技术，熟悉机器学习和数据挖掘的优先。\n4. 熟悉数据仓库和数据分析的概念，有过报表和仪表板开发经历的优先。", "workAddr": "北京-海淀区-西北旺-北清路68号用友软件园（铁16号线“永丰”站）", "origin": "拉钩网"} {"positionName": "大数据架构师", "companyName": "易观招聘", "companySize": "150-500人", "industryField": "移动互联网,数据服务", "financeStage": "B轮", "companyLink": "http://www.analysys.cn/", "city": "北京", "salary": "50k-80k", "workYear": "经验10年以上", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 互联网大数据领先品牌 六险一金 弹性工作", "jobDetail": "岗位职责：1.负责公司大数据方向的整体架构设计，结合公司实际业务情况进行技术选型；2.负责数据平台产品的整体评估、设计、架构及关键模块的开发；3.负责架构优化及系统关键模块的设计开发，协助团队解决开发过程中的技术难题；4.参与数据开发规范制定。\n任职要求：1.本科以上学历，至少5年以上实际工作经验；2.负责过大型数据平台或数据仓库设计，具有扎实的大数据和数据仓库的理论功底；3.对Hadoop的大数据体系有深入认识，对Hadoop、Hive、HBase、Spark、Storm、 Kafka、ES等有实际应用研发经验，最好读过关键源码；4.很强的学习、分析和解决问题能力，良好的团队意识和协作精神，有较强的内外沟通能力；\n5.有分析类产品相关的的技术经验优先。", "workAddr": "北京-朝阳区-望京-花家北里19号望京大厦C座3层", "origin": "拉钩网"} {"positionName": "大数据高级工程师（算法并行...", "companyName": "慧科讯业招聘", "companySize": "500-2000人", "industryField": "文娱丨内容", "financeStage": "未融资", "companyLink": "http://www.wisers.com.cn", "city": "北京", "salary": "25k-50k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金，年底双薪，优秀团队", "jobDetail": "职位描述:\n• 产品化AI Labs实现的算法并进行性能优化，并大规模应用\n• 大数据统计、大数据挖掘分析算法、工具研究与开发\n \n职位要求:\n• 精通主流大数据和流式数据处理技术，如Spark、Flink、Kafka、Storm、Map Reduce等\n• 熟练掌握Java/Scala/Go/Python技术的开发和有关架构设计\n• 具备大数据开发经验，熟悉大规模分布式运算及集群技术\n• 熟练运用数据库 如Solr, ElasticSearch, Mysql，MongoDB，HBase，Neo4j 等\n• 具备NLP实际开发经验开发优先，如语义分析，词向量，聚类等文本挖掘经验\n• 熟悉数理统计、机器学习、人工智能具体实施方法优先", "workAddr": "北京-朝阳区-三元桥-曙光西里甲5号凤凰置广场f座19层1901", "origin": "拉钩网"} {"positionName": "大数据运维工程师", "companyName": "CLPS招聘", "companySize": "500-2000人", "industryField": "数据服务,金融", "financeStage": "未融资", "companyLink": "http://www.clps.com.cn", "city": "北京", "salary": "18k-23k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 13薪 六险一金", "jobDetail": "4年以上大数据运维项目经验，英语读写熟练，口语能简单的交流\n4年以上it运维经验，熟悉大数据运维，专门做大数据平台搭建运维\n熟悉ETL，informatica，airflow，kafka，这几个技术点都ok\n \nairflow，hadoop(hdfs hbase)，ETL informatic，spark，kafka。\n\n三年以上大数据平台运维经验，熟悉Ubuntu Centos Redhat等Linux操作系统\n熟悉Hadoop生态系统核心组件，HDFS/ Hbase, Spark, Hive, Presto \n熟悉Kafka集群的搭建以及优化\n熟悉informatic工具的使用\n熟悉airflow的搭建\n英文可以作为工作语言\n\nETL运维技能要求：\n岗位要求：\n1.计算机或者相关专业本科以上学历;\n2.具有4-8年以上it项目运维经验，思路清晰，有BI项目运维经验者优先;\n3.熟练操作ETL及数据库软件(oracle、sqlserver等)、熟练掌握SQL语句, 熟悉Linux系统;\n4.具有良好的沟通能力，能够承受工作压力;\n5.熟悉etl工具或者BI界面开发软件者优先， ；\n6. 熟悉informatics的使用，有生产环境接入经验", "workAddr": "北京-朝阳区-大望路-金中心", "origin": "拉钩网"} {"positionName": "大数据工程师", "companyName": "字节跳动招聘", "companySize": "2000人以上", "industryField": "文娱丨内容", "financeStage": "C轮", "companyLink": "http://www.bytedance.com", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金，高薪期权，弹性工作，免费三餐", "jobDetail": "职位职责：\n1、负责业务相关数据挖掘核心技术的研发；\n2、负责多渠道内容处理Pipeline的设计与开发，实现相关业务的实体的关键字抽取、正则化、聚类、Topic等基础特征，为后续处理提供数据；\n3、负责大数据基础设施和平台改进，解决生产环境可用性和性能优化问题；\n4、参与数据底层的工具、平台和部署流程等研发工作。\n\n职位要求：\n1、良好的设计和编码品味，热爱写代码，有代码洁癖更佳；\n2、动手能力强，喜欢折腾，有解决复杂问题的能力与兴趣；\n3、精通 SQL，有较好的 SQL 性能调优经验，熟悉 Hive/MySQL 的基本原理和调优策略；\n4、熟悉数据仓库实施方法论、深入了解数据仓库体系，并支撑过实际业务场景；\n5、编程语言不限，有Python或c++经验更佳；\n6、较好的产品意识，关注数据，以产品为工作的驱动因素。", "workAddr": "北京-海淀区-中关村南四街18号紫金数码园四号楼", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "海鹚科技招聘", "companySize": "150-500人", "industryField": "移动互联网", "financeStage": "B轮", "companyLink": "http://gzhc365.com", "city": "北京", "salary": "12k-18k", "workYear": "经验1-3年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金 双休 13薪 年终奖", "jobDetail": "岗位职责：1、参与数据产品后端开发；2、参与底层数据清洗及开发工作。\n\n岗位要求:1、本科及以上学历、计算机相关背景 ；2、 2-3年以上数据开发经验 ；3、熟练掌握java或者scala语言 ；4、熟悉Hadoop/hive/spark/kafka等大数据技术优先; 5、有数据仓库项目经验者优先 ；6、有医疗相关数据开发经验者优先。", "workAddr": "北京-朝阳区-大望路-万达广场8号楼2301", "origin": "拉钩网"} {"positionName": "大数据部-web前端", "companyName": "美团点评大数据与算法部招聘", "companySize": "2000人以上", "industryField": "消费生活", "financeStage": "上市公司", "companyLink": "http://www.meituan.com", "city": "北京", "salary": "25k-50k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 平台大，上升空间大", "jobDetail": "岗位职责：\n1.负责公司数据平台产品的基础架构产品的设计与实现；\n2.对数据可视化等方向进行技术攻坚，可以独立承担复杂的可视化技术模块，并能够抽象与复用；\n3.开发、维护、扩展前端代码框架及工具，不断提升前端产品体验；\n4. 研究业界新技术及其应用，解决创新研发过程中的关键问题和技术难点。\n\n岗位基本要求：\n1. 大学本科及以上相关计算机专业毕业；\n2. 熟悉各种 Web 前端技术，熟练跨浏览器、跨终端的开发；\n3. 熟悉前端性能优化，熟练使用各种调试抓包工具，能独立分析、解决和归纳问题；\n4. 精通 Javascript、H5、Sass/Less/PostCSS 和 HTML 前端模板引擎；\n5.了解 ECMAScript, CommonJS, Promise 等标准, 熟练使用 Git；\n6. 精通面向对象的 Javascript 开发，有开发过 JS 框架或公共组件等开发经验；\n7. 熟悉使用 Vue.js 或 React.js 框架，研究过其源码实现优先；\n8. 对 Javascript 引擎实现机制、浏览器渲染性能有比较深入的研究；\n9. 熟悉 Gulp，Webpack 等前端构建工具；\n10. 较好的问题解决能力、沟通能力及学习能力，能反馈并主动 Push 项目问题的解决；\n11. 技术视野广阔，有主导前端技术方案设计的能力和经验；\n12. 较好的团队精神，善于技术沉淀、技术分享、技术创新；\n13. 熟悉 ECharts、D3.js、Highcharts 等可视化组件库开发优先（可视化方向）；\n14. 有大型网站前端架构、前端性能、可访问性、可维护性等方面的实践经验优先。\n\n具备以下者优先：\n1. 熟悉 Node.js 语言；\n2. 有开源作品或技术博客；\n3 . 技术社区活跃分子；\n4. GitHub 上有独立作品；\n5. Geek 控，对技术有狂热兴趣和追求。\n\n技术专家/架构师要求：\n1. 负责美团数据领域的产品的架构设计与前端研发工作；\n2. 带领团队完成关键技术和项目的架构设计，持续优化技术，提高产品用户体验；\n3. 以结果和价值为导向，能利用科学的方法进行指标定义、收集、分析，从而进行成果的衡量；\n4. 对负责的项目有至少半年清晰的规划（关键路径和里程碑），过程中有监控手段保障落地不变形；\n5. 跟进研究业界研发效能领域的前沿理念和技术实践。", "workAddr": "北京-朝阳区-望京东路4号恒电大厦C座", "origin": "拉钩网"} {"positionName": "高级数据开发工程师", "companyName": "安居客58集团本地服务事业群（base北京）招聘", "companySize": "500-2000人", "industryField": "移动互联网", "financeStage": "上市公司", "companyLink": "http://www.anjuke.com", "city": "北京", "salary": "30k-50k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 有竞争力的薪酬，可爱的同事", "jobDetail": "高级数据工程师（58集团 Base 北京）\n职位介绍\n岗位描述：\n1. 对海量日志进行数据统计与分析，产品效果评估与分析，为产品策略优化迭代提供强有力的数据支持\n2. 从海量日志数据中发掘有价值的信息，构建数据模型，反向加速产品的演化\n3. 应用先进的统计建模、数据挖掘、机器学习方法建立数据模型解决实际问题\n岗位要求：\n1. 本科及以上学历。计算机, 统计，数学相关专业，并且在该方向上至少有3年以上工作经验\n2. 熟悉数仓的建模，熟悉数仓的分层结构\n3. 有自然语言处理、数据挖掘、文本挖掘用户画像相关经验，精通其中一两个领域\n4.具备较强的数据敏感度和分析能力，能够针对业务提炼指标评估策略价值及发现关键问题\n5.熟悉hadoop生态，熟练使用hive，熟悉大数据常用框架和相关技术\n6.具有良好的沟通、团队协作、计划和创新的能力", "workAddr": "北京-朝阳区-大山子-北京市朝阳区酒仙桥北路甲10号院101号楼58集团总部", "origin": "拉钩网"} {"positionName": "大数据研发实习生", "companyName": "LemonBox技术部招聘", "companySize": "15-50人", "industryField": "移动互联网,医疗丨健康", "financeStage": "A轮", "companyLink": "http://www.lemonbox.me", "city": "北京", "salary": "4k-5k", "workYear": "经验应届毕业生", "education": "本科及以上", "jobNature": "实习", "positionAdvantage": "职位诱惑：\n 免费晚餐福利，交通补贴福利。", "jobDetail": "职位描述：\n参与Lemonbox基于Hadoop/Hive/Kafka/ClickHouse等分布式框架的OLAP的开发，为市场和营销部门提供数据统计和分析。\n参与Lemonbox基于Flink/HBase/Kafka的实时用户画像和推荐系统的开发。\n参与Lemonbox基于Flink/Kafka的风控报警系统的开发，保证Lemonbox的电商系统的正常稳定运行。\n参与Lemonbox的后端业务逻辑开发。\n\n职位要求：\n有强烈的学习欲望，接受加班，愿意承担压力。\n熟悉Linux操作系统及开发环境。\n扎实的计算机软件基础知识：数据结构，算法，操作系统等，有很强的工程动手能力。\n有docker k8s集群运维经验优先。\n有Hadoop Spark生态Flink Kafka Clickhouse Hbase Hive等大数据框架基础的优先。", "workAddr": "北京-朝阳区-团结湖-工人体育场北路三里屯soho，B座2001", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "音娱时光招聘", "companySize": "50-150人", "industryField": "移动互联网", "financeStage": "A轮", "companyLink": "http://www.maetimes.com", "city": "北京", "salary": "20k-35k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 团队优秀；海外市场；免费餐饮；租房津贴；", "jobDetail": "岗位职责：\n1、基于对公司业务的广泛理解，负责各个业务模块的数据提取和报表开发；\n2、跟进维护大数据平台软件栈的技术发展，围绕业务需求作合适的选型及开发；\n3、能够全局性地理解数据仓库及业务数据，整合需求，为业务方提供系统化、可持续的数据解决方案。\n任职资格:\n1、重点统招本科及以上学历; \n2、有扎实的计算机基础，熟悉常用数据结构、算法、设计模式；\n3、熟悉hadoop、hive、hbase、spark等大数据开源工具的架构;了解数据仓库建设的基本思路; \n4、精通hivesql，有丰富的hivesql性能调优经验;掌握python脚本语言; \n5、具备出色的需求分析能力及快速学习能力，能深入理解复杂的业务逻辑; \n6、具备良好的团队合作精神，具备出色的沟通能力。", "workAddr": "北京-海淀区-北航致真大厦", "origin": "拉钩网"} {"positionName": "大数据挖掘工程师", "companyName": "北京饕餮互动信息科技...招聘", "companySize": "15-50人", "industryField": "移动互联网,教育", "financeStage": "天使轮", "companyLink": "https://m.xianzhayugan.com", "city": "北京", "salary": "20k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 扁平化管理、氛围好、地铁旁", "jobDetail": "岗位职责：\n1、参与Hadoop、Spark相关的大数据产品的研发工\n2、优化并维护Hadoop、Spark等集群，保证集群规模持续、稳定\n3、针对公司大数据业务需求，负责数据采集、ETL处理、数据仓库、数据挖掘，数据可视化相关模块的研发\n4、与业务人员进行高效沟通，能深刻理解并落实数据需求\n \n任职要求：\n1、本科及以上学历，计算机、软件工程、信息技术、或其他相关专业\n2、熟练掌握大数据处理及分布式管理相关技术（包括Hadoop、HDFS、Spark、HBase、Hive、ZooKeeper,Flink等开源框架）,并具有实际开发经验\n3、熟悉java/golang/Python语言，熟悉linux系统、Shell等脚本语言；熟悉Map/Reduce编程，熟悉常用的消息中间件kafka，rabbitmq\n4、熟悉Storm、Spark streaming等大数据实时处理框架；熟悉大数据集群环境的搭建、部署\n5、有强烈的上进心和主动性；良好的团队协作能力、沟通能力和学习能力\n6、具有智能检索、语义分析、用户画像等实践经验者优先；具有通信行业系统开发经验者优先", "workAddr": "北京-朝阳区-酒仙桥-北京市朝阳区酒仙桥路14号兆维工业园C3号楼2层", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "邦盛科技招聘", "companySize": "150-500人", "industryField": "信息安全", "financeStage": "C轮", "companyLink": "http://www.bsfit.com.cn", "city": "北京", "salary": "12k-20k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 年底双薪 绩效奖金 管理规范 五险一金", "jobDetail": "岗位职责：\n1、负责项目实施过程中的数据源分析、需求分析工作。\n2、独立完成项目中数据模型设计、数据开发、调度工作。\n3、负责数据仓库ETL流程的优化及解决ETL相关技术问题。\n4、配合完成项目测试工作，负责所开发内容的高质量交付。\n5、对数据仓库的日常监控，确保整个数据流程数据的完整性、一致性以及准确性。\n6、参与大数据平台系统建设和调优。\n\n任职资格：\n1、两年及以上大型数据库或数据仓库系统的设计和开发经验。\n2、熟悉Hive、MySql、Oracle数据库, 熟练掌握SQL,PL/SQL, SQL优化。\n3、熟悉Linux/Uinx，熟练掌握Shell、JAVA、SCALA等其中一门语言。\n4、熟悉大数据生态圈相关技术，有2年以上Hadoop和Spark相关开发和调优经验。\n5、具有数据分析相关工作经历优先。\n6、工作积极主动、责任心强，具有良好的沟通表达能力和敬业精神。", "workAddr": "北京-海淀区-三星庄路农业银行北方数据中心", "origin": "拉钩网"} {"positionName": "大数据系统工程师（Hadoop方向）", "companyName": "贝壳招聘", "companySize": "2000人以上", "industryField": "房产家居", "financeStage": "D轮及以上", "companyLink": "http://www.ke.com", "city": "北京", "salary": "30k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 16薪,大平台", "jobDetail": "工作职责:\n负责公司大数据平台底层技术架构的规划、设计、实施和优化。\n负责公司大数据平台资源调度系统的规划、设计、实施和优化。\n负责结合软硬件持续对公司大数据平台基础架构层进行优化和整合。\n任职资格:\n具有扎实的大数据和分布式系统的理论知识，对大数据基础组件有深入的研究。\n熟悉 Java、C/C++语言，熟悉 Linux 操作系统。\n参与过大型分布式系统架构设计和实施，有具体的实践经验。\n参与过大型调度系统的研发，并在线上实际运行并取得较好的效果。\n基于Hadoop的大数据体系有深入认识，具备相关产品（Hadoop、Hive、HBase、Spark、Storm、 Flume、Kafka、ES、flink等）项目应用研发经验\n具有良好的问题分析和追踪能力，具有正确的团队合作意识和良好的沟通能力。\n3年工作经验以上，硕士学历者优先", "workAddr": "北京-海淀区-上-开拓路11号福道大厦", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "美图公司招聘", "companySize": "2000人以上", "industryField": "硬件", "financeStage": "上市公司", "companyLink": "http://hr.meitu.com", "city": "北京", "salary": "20k-35k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 有竞争力薪资，餐补交通补等等", "jobDetail": "工作职责：1、海量商业数据的收集、处理及存储； 2、海量商业数据的查询引擎建设及优化；3、商业数据仓库的建模及多维分析；4、大规模数据平台的建设、治理及优化；任职要求：1、2年以上工作经验；2、计算机科学、工程、数学、统计或相关专业学士、硕士；3、有扎实的java基础、熟悉多线程与JVM相关原理；4、有扎实的数据结构与算法功底；5、熟练使用SQL语言进行数据分析；6、大规模数据的处理相关经验，熟悉Impala、Hadoop、HBase、Flink、Kafka、Hive等分布式系统；具有如下条件之一优先考虑：互联网广告、搜索引擎方向相关背景和工作经验；信息检索、数据挖掘、机器学习、人工智能等相关领域的理论背景或应用实践；", "workAddr": "北京-海淀区-五道口-五道口优盛大厦19层", "origin": "拉钩网"} {"positionName": "数据开发", "companyName": "美团点评招聘", "companySize": "2000人以上", "industryField": "消费生活", "financeStage": "上市公司", "companyLink": "http://www.meituan.com", "city": "北京", "salary": "25k-50k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 技术氛围好 ；平台大；", "jobDetail": "职责：\n1 承担数据BP中心的数仓设计和开发工作\n2 承担业务方应用层数据的搭建和开发工作\n3 优化数据模型和ETL性能，参与数据治理，确保数据质量\n4 业务方数据问题的统一接口人与综合解决方案提供方，对外提供一站式服务\n5 跨团队沟通、推动数据生产链路上的问题改进\n1）岗位基本要求：\n1 具有扎实的计算机专业知识，极强的问题解决能力\n2 掌握数据仓库的经典建模方法，熟悉不同建模方法的优劣，三年以上的数仓开发经验\n3 掌握大数据生态技术栈，具备较丰富的Hadoop、Hive、HBase等大数据工具应用和开发经验\n4 扎实的SQL功底，了解不同框架下SQL执行的原理，有过性能优化的实际经验\n5 优秀的业务理解能力和良好的沟通协调能力\n2）具备以下者优先：\n1 了解或有一定系统开发经验，能够使用java、python等语言进行编程\n2 有数据敏感度、能够从数据分析的视角看待问题或有一定数据分析经验\n3 了解或参与过数据挖掘项目", "workAddr": "北京-朝阳区-望京东路4号恒电大厦C座", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "美图公司招聘", "companySize": "2000人以上", "industryField": "硬件", "financeStage": "上市公司", "companyLink": "http://hr.meitu.com", "city": "北京", "salary": "20k-35k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 有竞争力薪资，餐补交通补等等", "jobDetail": "工作职责：1、海量商业数据的收集、处理及存储； 2、海量商业数据的查询引擎建设及优化；3、商业数据仓库的建模及多维分析；4、大规模数据平台的建设、治理及优化；任职要求：1、2年以上工作经验；2、计算机科学、工程、数学、统计或相关专业学士、硕士；3、有扎实的java基础、熟悉多线程与JVM相关原理；4、有扎实的数据结构与算法功底；5、熟练使用SQL语言进行数据分析；6、大规模数据的处理相关经验，熟悉Impala、Hadoop、HBase、Flink、Kafka、Hive等分布式系统；具有如下条件之一优先考虑：互联网广告、搜索引擎方向相关背景和工作经验；信息检索、数据挖掘、机器学习、人工智能等相关领域的理论背景或应用实践；", "workAddr": "北京-海淀区-五道口-五道口优盛大厦19层", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "小米招聘", "companySize": "2000人以上", "industryField": "硬件", "financeStage": "D轮及以上", "companyLink": "http://www.mi.com", "city": "北京", "salary": "25k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 发展空间、年终奖金、技术氛围浓厚", "jobDetail": "职位描述：\n负责全球新零售数据平台的设计与实现；\n负责全球新零售2B业务数据平台相关数据的存储、查询、挖掘等的功能开发；\n\n任职要求：\n计算机、数学相关专业本科及以上学历，4年以上互联网研发工作经验\n具有扎实的计算机科学功底，扎实的编程基础和数据结构算法基础，良好的工程素养，极强的问题解决能力\n精通Unix/Linux操作系统下Java或Scala开发，有良好的编码习惯，有扎实的计算机理论基础\n有基于hadoop体系的数据仓库开发经验，了解 Hive，Hbase，Spark等大数据处理工具和技术，有较强的调优能力\n对数据敏感，有较强的逻辑分析能力，对大数据处理和分析技术有丰富的经验和强烈热情\n善于交流，有良好的团队合作精神和协调沟通能力", "workAddr": "北京-海淀区-清河-小米总参", "origin": "拉钩网"} {"positionName": "资深大数据发开工程师（北京）", "companyName": "蜻蜓FM北京研发部招聘", "companySize": "150-500人", "industryField": "移动互联网", "financeStage": "D轮及以上", "companyLink": "http://www.qingting.fm", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "学历不限", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大平台 公司福利好", "jobDetail": "工作职责：\n负责蜻蜓大数据平台的研发，包含数据基础平台的搭建、升级和优化，业务数据ETL处理，批量数据报表，实时数据的开发。\n工作要求：\n1、计算机或相关专业，3年以上数据平台开发工作；\n2、精通Hadoop/MR/Spark/Hive/HBase/Kafka/Flume/DataX等技术，有丰富的多场景实操经验，掌握数据分析与各种算法与模型\n3、熟悉OLAP系统、常见的BI解决方案，并有一定的搭建和开发经验，对Kylin/Druid有深入使用和经验者优先\n4、精通Java、Python、Scala等\n5、具备优秀的系统架构设计能力，分析、解决问题能力和必要的产品意识；算法基础良好，编码能力优秀；执行力、沟通能力强，喜欢挑战，乐于团队合作", "workAddr": "北京-朝阳区-朝外SOHO-D座1122室", "origin": "拉钩网"} {"positionName": "大数据高级运维研发工程师", "companyName": "快手系统运营部招聘", "companySize": "2000人以上", "industryField": "文娱丨内容", "financeStage": "D轮及以上", "companyLink": "https://www.kuaishou.com/", "city": "北京", "salary": "25k-50k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大牛云集，免费餐食，免费健身", "jobDetail": "岗位职责：\n1. 负责公司超大规模、高可用系统的架构设计与优化。\n2.设计并实现能够支撑大规模集群迭代、管理的运维平台，提高运维效率。\n3. 负责服务多地域部署规划、容量管理和性能优化，提升平台可用性。\n任职要求：\n1.精通Linux系统、Shell/Python/C等编程语言、网络TCP/IP协议、数据库等，动手能力强\n2.有扎实的算法基础，熟悉常见的数据结构，了解分布式算法和分布式系统。\n3.精通常见的开源分布式计算/存储相关技术，包括YARN，MapReduce，Hive，Pig。\n4.熟悉常见的数据计算优化策略，有优化MapReduce作业、Hive作业，Pig作业执行效率经验。\n5.熟悉OLAP引擎者的设计和开发者优先。\n6.熟悉机器学习，有数据挖掘和深度数据分析者优先。", "workAddr": "北京-海淀区-西二旗-快手总部", "origin": "拉钩网"} {"positionName": "大数据产品经理", "companyName": "数澜科技招聘", "companySize": "150-500人", "industryField": "企业服务,数据服务", "financeStage": "A轮", "companyLink": "http://www.dtwave.com/ind...", "city": "北京", "salary": "15k-28k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 弹性工作，大牛多，全额五险一金，定期体检", "jobDetail": "岗位描述：\n1、负责面向企业、政府、开发者、ISV等客户的大数据产品及应用解决方案的设计、规划和落地；\n2、调研不同行业的企业客户，深度挖掘利用大数据帮助客户优化企业经营链路的场景点；\n3、根据客户需求，并结合行业产品经验，抽象提炼出数据解决方案及产品的功能点，并进行产品架构、数据设计、流程图、产品原型设计；\n4、组织和推动产品团队、核心开发团队，快速完成解决方案产品化工作，梳理提供PRD、产品架构图、需求列表、开发计划、用户手册等文档 。\n岗位要求：\n1、本科及以上学历，扎实的toB领域产品设计基础，3年以上相关经验，有数据平台/数据产品经验者为佳；\n2、具有技术背景，具有大数据、云计算、ETL、数据挖掘的技术背景为佳；\n3、有丰富的产品设计和项目管理经验，并可以熟练使用Axure等工具进行产品的原型设计，具备产品推广经验、熟悉IPD等产品研发体系为加分项；\n4、具备较强的数据分析能力、逻辑思维能力、沟通能力，能够有效整合团队资源推动业务发展；\n5、有很强的产品owner意识，良好的自我管理能力、环境适应能力和执行力，能较大压力下保持工作激情；\n6、热爱数据，喜欢迎接挑战和承担责任，积极主动，高效的执行力；", "workAddr": "北京-朝阳区-望京-北京市朝阳区望京SOHO塔2-C座0309室", "origin": "拉钩网"} {"positionName": "搜狐集团商业部-大数据开发...", "companyName": "搜狐集团招聘", "companySize": "2000人以上", "industryField": "移动互联网,广告营销", "financeStage": "上市公司", "companyLink": "http://www.sohu.com", "city": "北京", "salary": "2k-4k", "workYear": "经验应届毕业生", "education": "本科及以上", "jobNature": "实习", "positionAdvantage": "职位诱惑：\n 大平台", "jobDetail": "职位描述： \n* 支持广告业务的数据需求，完善业务的数据分析体系和工具 \n* 参与ETL、数据应用和服务的设计开发 \n任职要求： \n* 计算机、软件工程等相关专业在读 \n* 保证连续实习3个月及以上，每周出勤4天及以上 \n* 熟练使用Java、Python等至少一门开发语言 \n* 接触过大数据相关技术，有相关实习经历者优先考虑", "workAddr": "北京-海淀区-搜狐媒体大厦", "origin": "拉钩网"} {"positionName": "大数据开发", "companyName": "京东数字科技招聘", "companySize": "2000人以上", "industryField": "金融", "financeStage": "上市公司", "companyLink": "http://jr.jd.com/", "city": "北京", "salary": "25k-45k", "workYear": "经验1-3年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 福利待遇丰厚", "jobDetail": "工作内容：\n1. 整合京东商城、京东金融、第三方数据源相关用户行为数据，基于业务需求构建底层数据结构；\n2. 完成广告、推荐系统产生的业务数据采集、存储等；和算法团队密切合作，完成系统离线、在线的工程化部署；\n3. 和产品、运营团队合作，完成数据抽取、数据分析相关工作。\n任职资格：\n1、计算机、信息、数学等相关专业，硕士及以上学历；\n2、广告、电商等领域大数据处理3年以上工作经验；有处理TP量级数据的经验，包括离线、实时；\n3. 熟练使用Kafka、Spark/Flink、Hbase、ES等常用工具；对其中某项框架有深入研究，并有对应的优化经验；\n4. 逻辑清晰；且有目标导向得高度灵活性；对数据分析相关方法论有熟练应用,，有较强实战能力；良好沟通能力；有数据分析领域较强实战经验；\n5 .强烈的责任心与主动性，对所负责工作有owner意识，并能自我驱动成长。", "workAddr": "北京-大兴区-北京市经济开发区科创十一街京东大厦", "origin": "拉钩网"} {"positionName": "大数据研发工程师", "companyName": "顺丰同城研发部招聘", "companySize": "2000人以上", "industryField": "消费生活", "financeStage": "天使轮", "companyLink": "http://www.sf-express.com", "city": "北京", "salary": "15k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 弹性工作时间。环境福利待遇好。团队领导好", "jobDetail": "工作职责: -负责构建大数据分析平台以及数据分析和挖掘工作 -负责基于顺丰同城数据的离线和实时流分析 -参与支撑业务的数据模型建设及数据指标的计算和分析 -参与海量数据的存储、查询和运营数据分析体系搭建 -运用Hadoop、Spark、ES等分布式计算和存储平台 职责要求: -计算机相关专业应届毕业生 -对Spark及Hadoop技术有深入了解 -熟悉Python/Java/Scala/Php等编程语言，熟练使用SQL，有良好的编码习惯，对分布式有深刻理解 -了解Windows、Unix、Linux等主流操作系统原理，熟练运用系统层支持应用开发 -技术视野开阔，有强烈的上进心和求知欲，善于学习和运用新知识，勇于解决难题 -善于沟通和逻辑表达，拥有优秀的分析问题和解决问题的能力，良好的团队合作精神和积极主动的沟通意识 -有激情，具有自我驱动力，追求卓越 具有以下条件者优先： -计算机领域相关的编程大赛获奖、专业期刊发表文章或者有发明专利等 -具备大数据云平台、计算存储平台、可视化开发平台经验，熟悉软件工程开发流程 -具备专业领域的计算机知识和技能： Storm/Hive/Hbase/Storm/Kafka等", "workAddr": "北京-海淀区-学清嘉创大厦A座", "origin": "拉钩网"} {"positionName": "高级大数据研发工程师（北京）", "companyName": "国瑞数码大客户事业部招聘", "companySize": "150-500人", "industryField": "信息安全", "financeStage": "不需要融资", "companyLink": "http://www.ncs-cyber.com.cn/", "city": "北京", "salary": "20k-30k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金,股票期权,员工旅游,带薪年假", "jobDetail": "岗位职责：\n1、根据产品需求、项目需求，进行软件架构设计，制定项目计划、技术方案、技术架构；\n2、根据产品需求、项目需求进行产品和项目的开发；\n3、负责团队技术架构的设计与规划，对团队成员进行技术指导，提升团队整体技术能力；\n4、负责大数据相关基础数据的技术规划，编制相关规范文档；\n5、负责大数据相关技术发展方向的预研；\n6、参与业务需求调研，根据需求及行业特点设计大数据解决方案并跟进具体实施项目；\n7、参与制定大数据平台汇总数据质量、业务质量监控及管理方案。 \n职位要求： \n1、全日制本科及以上学历（非民办类），计算机、软件、数学等相关专业背景，5年以上大数据开发工作经验；\n2、熟悉并掌握大数据相关算法（机器学习算法、深度学习算法、神经网络算法相关）；\n3、具有Hadoop、Storm、Spark、ES等大数据技术的开发经验；\n4、具有Oracle、HBase、Hive、Redis等主流数据库的相关开发和调优实战经验；\n5、精通Java、Scala、Python中的一种或多种语言，熟悉Linux环境下编程，熟悉常用的shell命令工具；\n6、有R、Python、SAS、SPSS等数据分析和挖掘经验者优先；\n7、深刻理解大数据处理、流计算、分布式计算、分布式文件系统、分布式存储等相关技术和实现方法，有架构和设计实践经验优先；\n8、具有优秀的表达、沟通与协调能力、团队合作精神、保密意识。", "workAddr": "北京-朝阳区-小关-芍药居甲2号院12号楼芍药居综合楼", "origin": "拉钩网"} {"positionName": "大数据产品经理", "companyName": "百度招聘", "companySize": "2000人以上", "industryField": "工具", "financeStage": "不需要融资", "companyLink": "http://talent.baidu.com/e...", "city": "北京", "salary": "20k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 福利待遇", "jobDetail": "岗位描述：\n1. 参与百度汽车云数据战略的制定，能针对业务目标及发展现状设计数据团队的定位、目标，整体发展路线，能进行数据体系的整体规划与设计，包括技术架构、数据模型、指标体系、报表与产品体系、数据治理等，打造汽车行业的数据中台；\n2. 负责供应链数据中台的数据仓库搭建，建设包括等轨迹，订单，画像，推荐等业务领域的通用数据集市；\n3. 参与数据治理设计工作，包括元数据管理、数据质量检查、数据分级管理等系统的设计、开发及应用，提升数据易用性、可用性及稳定性；\n4. 参与供应链数据化运营，在深入了业务的基础上，制定系统性端到端的数据解决方案，通过数据+算法驱动业务优化，打造车联网云大数据的应用标杆。\n \n岗位要求：\n1. 计算机及相关专业毕业，本科及以上学历，5年以上工作经历；\n2. 熟悉Hadoop生态相关技术，如Hive、HBase、Spark、Flink、Storm、Elasticsearch、Impala、Druid、Kylin等，有基于分布式数据存储与计算平台应用开发经验，熟悉百度云大数据平台者优先；\n3. 掌握一门或多门编程语言优先，如Java、Python、Perl等，熟悉Linux系统及常规shell处理命令；\n4. 有良好的业务Sense，对数据业务场景非常敏感，能够横向协同，跨界整合资源，有效结合业务和技术创新，形成完整的数据解决方案，全局地规划或完善数据服务体系以解决业务/产品的问题；\n5. 具有大型跨部门的复杂项目或者技术领域的管理经验，有成熟的团队梯队建设经验和技能储备的思路，具有加好的架构设计能力，可以负责面向未来的数据技术路线；\n6. 有互联网企业工作经验优先，有大型互联网公司数据架构设计经验者优先，有汽车相关工作经验优先。", "workAddr": "北京-海淀区-西北旺-百度科技园2号楼", "origin": "拉钩网"} {"positionName": "大数据研发工程师（校招）", "companyName": "数美招聘", "companySize": "150-500人", "industryField": "企业服务,数据服务", "financeStage": "C轮", "companyLink": "http://www.ishumei.com", "city": "北京", "salary": "15k-25k", "workYear": "经验应届毕业生", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n **团队,大牛导师,七险一金", "jobDetail": "你将要负责\n1、负责构建大数据分析平台以及数据分析和挖掘工作\n2、负责数据的离线和实时流分析\n3、参与支撑业务的数据模型建设及数据指标的计算和分析\n4、参与海量数据的存储、查询和运营数据分析体系搭建\n5、运用Hadoop、Spark、ES等分布式计算和存储平台\n\n希望你\n1、计算机相关专业应届毕业生\n2、对Spark及Hadoop技术有深入了解\n3、熟悉Python/Java/Scala/Php等编程语言，熟练使用SQL，有良好的编码习惯，对分布式有深刻理解\n4、了解Windows、Unix、Linux等主流操作系统原理，熟练运用系统层支持应用开发\n5、技术视野开阔，有强烈的上进心和求知欲，善于学习和运用新知识，勇于解决难题 \n6、善于沟通和逻辑表达，拥有优秀的分析问题和解决问题的能力，良好的团队合作精神和积极主动的沟通意识 \n7、有激情，具有自我驱动力，追求卓越\n\n\n【关于数美】www.ishumei.com \n\n数美科技成立于2015年6月，致力于为全球客户提供专业的AI业务风控服务，由国内知名VC机构腾讯、襄禾资本、顺为资本、清流资本、BV百度风投联合投资，为互联网、互联网+、以及产业互联网客户提供全栈式、可信赖的业务风控解决方案。\n团队核心成员均来自百度、阿里、腾讯、360、小米等知名互联网企业，拥有10余年搜索、安全、语音等互联网在线产品研发经验。\n4年探索深耕，数美科技基于先进的人工智能技术，构建了全场景、全流程、全维度业务风控产品矩阵与秒级迭代全球SaaS AI风控服务网络，承载海量风险识别请求，以业务、模型、数据驱动的产品实现快速进化。\n数美科技结合多年黑产对抗经验打造全栈式实时智能风控引擎-天网，旨在为客户解决营销欺诈、支付风控、数据盗爬、欺诈广告等风险问题；同时，结合人工智能技术打造全栈式智能内容识别引擎-天净，为客户提供一站式的智能内容安全解决方案，帮助客户识别文本、图片、音频、视频、网页中出现的涉黄、涉政、低俗、色情、导流广告等问题，规避业务风险，提升运营效率。\n数美科技的业务风控服务已成功覆盖游戏、直播、新零售、地产、电商、视频、金融、媒体、旅游、出行、教育等行业。\n截至目前，数美科技已服务华润置地、苏宁、云闪付、酷狗、爱奇艺、映客、探探、vipkid、B站、汽车之家、游族、小红书、keep等上千家知名企业。\n…………………………………………………………………………\n了解更多：www.ishumei.com", "workAddr": "北京-朝阳区-望京-望京诚盈中心", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "摩邑诚招聘", "companySize": "50-150人", "industryField": "广告营销", "financeStage": "C轮", "companyLink": "www.mobiexchanger.com", "city": "北京", "salary": "10k-20k", "workYear": "经验1-3年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金 团队Nice 出国旅游", "jobDetail": "职位诱惑：\n五险一金 团队Nice 出国旅游\n职位描述：\n职位描述：\n1.设计公司数据流架构，\n2.开发维护数据流平台\n3.挖掘数据商业价值\n\n-搭建公司整体数据流体系\n-搭建公司实时、离线报表\n-搭建流量变现数据模型\n\n职位要求：\n1.本科及以上学历，计算机相关专业。\n2.拥有良好的代码习惯，代码结构清晰，命名规范，逻辑性强。\n3. 熟练掌握Hadoop、Spark、Java语言；\n4.Python、PHP至少掌握一种语言；\n5.搭建过广告变现的离线流、实时流\n6.具有较强的学习能力和积极主动性，有责任心，良好的团队合作精神。", "workAddr": "北京-朝阳区-大望路-建国路93号院万达广场9号楼11层", "origin": "拉钩网"} {"positionName": "数据分析（BI开发）", "companyName": "阅文集团招聘", "companySize": "500-2000人", "industryField": "文娱丨内容", "financeStage": "上市公司", "companyLink": "https://join.yuewen.com", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大平台，福利好，领导nice", "jobDetail": "工作职责:\n1、负责阅文集团免费产品飞读数据体系建设，包括渠道、用户、商业化、内容等维度数据采集、指标体系、BI报表设计与开发等方面；\n2、针对业务重点方向分析，包括用户增长数据分析、商业变现数据监控，产品功能效果分析等，通过严谨和系统性数据分析进行业务健康度监控，提供业务决策数据支持；\n任职资格:\n1、本科及以上学历，理科背景；\n2、3年以上数据分析/BI开发经验，熟悉互联网产品数据指标体系、埋点采集验证；有业务分析、总结归纳能力优先；\n3、对mysql、oracle，尤其是Hive有丰富经验，有较强的ETL脚本编程能力、调优能力；\n4、熟悉BI项目，具有数据仓库、BI系统开发经验者优先；\n5、熟练操作linux系统，熟悉shell/python脚本，掌握一定的数理统计、数据分析、挖掘建模方法优先；\n6、工作积极主动，细心踏实，具备高度的工作责任心，逻辑清楚，思维缜密，数据敏感度高", "workAddr": "北京-朝阳区-亚运村-天辰东路7号国家会议中心北区7层", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "360招聘", "companySize": "2000人以上", "industryField": "信息安全", "financeStage": "上市公司", "companyLink": "http://www.360.cn", "city": "北京", "salary": "20k-25k", "workYear": "经验1-3年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 平台大,免费三餐,健身房,班车", "jobDetail": "职位描述:\n 1. 负责360政企集团数据建模、算法设计和研发工作，通过海量数据分析，选择合理的指标，设计和改进安全数据挖掘和算法;\n2. 负责大数据平台架构设计和性能调优，构建数据平台，支持海量数据的离线和实时分析，对数据敏感；\n3. 熟悉实时数据计算和离线数据计算相关技术；\n4. 参与大数据平台的开发和维护，保证数据平台的稳定和可靠。\n 任职要求:\n 1．计算机、数学和统计学先关专业，本科及以上学历；\n2．熟悉linux开发环境，熟悉基础命令操作和shell脚本的编写；\n3．熟悉java、scala、python等任一开发语言，有2年及以上开发经验；\n4．熟悉Hadoop、Hive、Saprk等，有spark、flink、Es、Storm等开源框架优先；\n5．熟悉数据结构，对常用算法有所了解，有良好的数据思维；\n6．熟悉大规模数据挖掘、机器学习等相关技术，并有相应实践经验者优先；\n7．对数据敏感，有良好的沟通能力和团队合作能力，善于沟通，工作自主驱动，具备良好的问题定位分析能力。", "workAddr": "北京-朝阳区-酒仙桥-酒仙桥路6号院（电子城•国际电子总部）", "origin": "拉钩网"} {"positionName": "java开发工程师-数据平台", "companyName": "小米大数据部招聘", "companySize": "2000人以上", "industryField": "硬件", "financeStage": "D轮及以上", "companyLink": "http://www.mi.com", "city": "北京", "salary": "20k-35k", "workYear": "经验1-3年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 发展空间、年终奖金、技术氛围浓厚", "jobDetail": "工作职责： 1、负责智能硬件数据采集、加工和统计的相关工作 2、负责数据仓库和数据平台的设计、开发和优化工作 3、保证数据流程的稳定性、及时性、高性能 任职要求： 1、计算机、通信、数学、统计相关专业本科以上学历，一年以上Java开发经验 2、精通JSP、Spring，对Linux下的开发环境有较深厚的开发经验 3、熟练MySQL，对数据库有较强的设计能力，同时熟悉大数据相关技术 4、熟悉JavaScript、HTML、CSS等Web前端常用开发技术 5、熟练使用git，熟悉Maven，熟悉Nginx等应用服务器，熟悉高并发处下的性能优化 6、熟悉网络编程，具有设计和开发对外API接口经验和能力 7、具有良好的沟通，团队协作、计划和创新的能力 8、熟悉Hadoop(HDFS/MapReduce/Hive)、Spark、HBase、Storm、Kafka等类框架技术，大数据产品开发、报表平台研发、数据仓库建设经验者优先。", "workAddr": "北京-海淀区-清河-小米总参", "origin": "拉钩网"} {"positionName": "大数据开发工程师（北京）", "companyName": "蜻蜓FM技术 - 北京招聘", "companySize": "150-500人", "industryField": "移动互联网", "financeStage": "D轮及以上", "companyLink": "http://www.qingting.fm", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "硕士及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 弹性工作", "jobDetail": "工作职责：\n负责蜻蜓大数据平台的研发，包含数据基础平台的搭建，业务数据ETL处理，批量数据报表，实时数据的开发。\n\n工作要求：\n1、计算机或相关专业；\n2、3年以上数据平台开发工作；\n3、熟悉Hadoop、Spark、Storm等大数据平台相关技术；\n4、熟练使用MapReduce、Hive、HDFS、Hbase、Redis、Kafka；\n5、精通Java、Python、Scala。", "workAddr": "北京-朝阳区-朝外SOHO-D座1122室", "origin": "拉钩网"} {"positionName": "大数据项目经理【北京】", "companyName": "数澜科技技术部招聘", "companySize": "150-500人", "industryField": "企业服务,数据服务", "financeStage": "A轮", "companyLink": "http://www.dtwave.com/ind...", "city": "北京", "salary": "15k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金 导师一带一 福利待遇好", "jobDetail": "岗位职责：\n1、按照公司项目管理规范，负责大数据、算法项目的项目管理工作\n2、实施项目的管理、开发、质量保证等过程，确保客户的成本、进度、绩效和质量目标；\n3、统一对接客户方所有需求，包括软件需求以及培训等其他需求\n4、协调项目组成员工作安排，及时沟通项目中的重大风险、里程碑事件\n5、洞察项目实施过程中遇到的问题和风险，并推动改进\n \n任职要求：\n1、两年以上项目管理经验，善于分析项目需求和管理客户的合理期望。\n2、了解大数据相关知识和工具，熟悉数据处理流程，有政府、金融、零售行业大数据经验优先。\n3、具有优秀书面和口头表达能力，良好的客户服务意识，优秀的组织协调能力。\n4、掌握项目管理方法论和运用技巧，有PMP证书、系统集成项目管理师、项目经理证书和多项目并行管理能力者优先。\n5、熟悉DataWorks、数据治理、数据中台产品的优先。", "workAddr": "北京-朝阳区-望京sohoT2，C座2511", "origin": "拉钩网"} {"positionName": "数据开发-集团商业部", "companyName": "搜狐集团集团商业部招聘", "companySize": "2000人以上", "industryField": "移动互联网,广告营销", "financeStage": "上市公司", "companyLink": "http://www.sohu.com", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大平台、团队优秀、发展空间大", "jobDetail": "工作职责：\n1.负责数据计算平台的优化，提升计算效率、提高数据平台的可用性；\n2.实时计算平台、离线计算平台的维护，解决日常的问题；\n3.实时跟进社区最新技术，并能应用到实际生产中；\n4.深入理解广告业务逻辑，完成数据模型设计及优化工作 ；\n5.负责数据接入、清洗、底层重构，业务主题建模等工作，参与数据开发流程的优化以及相关技术问题的解决。\n\n任职资格：\n1.统招本科及以上学历(硬性指标)，3-5年工作经验； \n2.熟悉数据仓库模型建模理论，有数据ETL、建模或数据分析相关经验； \n3.精通Hive/MySQL,有一定的hql/sql性能调优经验，熟悉Hadoop/SparkStreaming/Kafka/Storm等一项或多项大数据处理技术； \n熟练掌握Java、Scala、Python语言； \n4.对开源分布式项目有较高热情，并能自主学习社区新框架、新技术，并应用到生产中。", "workAddr": "北京-海淀区-搜狐媒体大厦", "origin": "拉钩网"} {"positionName": "美团打车-数据开发（风控）", "companyName": "美团点评美团打车招聘", "companySize": "2000人以上", "industryField": "消费生活", "financeStage": "上市公司", "companyLink": "http://www.meituan.com", "city": "北京", "salary": "30k-50k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 平台大，氛围好", "jobDetail": "工作职责：\n1.负责O2O业务风控数据仓库建设\n2.负责离线数据仓库ETL设计、开发和优化工作，保证数据准确、稳定、结构合理\n3.负责实时计算任务开发，结合业务进行实时应用场景的开发\n职位要求：\n1.3年以上大数据相关开发经验，本科及以上学历\n2.有较强的编程能力、丰富的编程经验，至少熟悉Java/Python/Scala其中一种编程语言\n3.熟悉数据仓库各类模型建模理论,了解数据仓库数据分层架构，精通多维数据模型、维度建模等数据建模方法\n4.熟练使用Hadoop、Hive、Mysql，熟悉Spark、Storm、Flink、Kafka等工具及具有相关使用经验\n5.对数据敏感、较强的逻辑分析能力、良好的团队协作精神，对海量数据处理和分析有热情", "workAddr": "北京-朝阳区-容达路7号院3号楼太极计算机股份有限公司B座", "origin": "拉钩网"} {"positionName": "大数据研发工程师（校招）", "companyName": "数美招聘", "companySize": "150-500人", "industryField": "企业服务,数据服务", "financeStage": "C轮", "companyLink": "http://www.ishumei.com", "city": "北京", "salary": "15k-25k", "workYear": "经验应届毕业生", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大牛导师,飞速发展,七险一金", "jobDetail": "你将要负责\n1、负责构建大数据分析平台以及数据分析和挖掘工作\n2、负责数据的离线和实时流分析\n3、参与支撑业务的数据模型建设及数据指标的计算和分析\n4、参与海量数据的存储、查询和运营数据分析体系搭建\n5、运用Hadoop、Spark、ES等分布式计算和存储平台\n\n希望你\n1、计算机相关专业应届毕业生\n2、对Spark及Hadoop技术有深入了解\n3、熟悉Python/Java/Scala/Php等编程语言，熟练使用SQL，有良好的编码习惯，对分布式有深刻理解\n4、了解Windows、Unix、Linux等主流操作系统原理，熟练运用系统层支持应用开发\n5、技术视野开阔，有强烈的上进心和求知欲，善于学习和运用新知识，勇于解决难题 \n6、善于沟通和逻辑表达，拥有优秀的分析问题和解决问题的能力，良好的团队合作精神和积极主动的沟通意识 \n7、有激情，具有自我驱动力，追求卓越\n\n\n\n【关于数美】www.ishumei.com \n\n数美科技成立于2015年6月，致力于为全球客户提供专业的AI业务风控服务，由国内知名VC机构奇虎360、百度风投、清流资本与顺为资本联合投资，为互联网、互联网+、以及产业互联网客户提供全栈式、可信赖的业务风控解决方案。\n\n团队核心成员均来自百度、阿里、腾讯、360、小米等知名互联网企业，拥有10余年搜索、安全、语音等互联网在线产品研发经验。\n\n4年探索深耕，数美科技基于先进的人工智能技术，构建了全场景、全流程、全维度业务风控产品矩阵与秒级迭代全球SaaS AI风控服务网络，承载海量风险识别请求，以业务、模型、数据驱动的产品实现快速进化。\n\n数美科技结合多年黑产对抗经验打造全栈式实时智能风控引擎-天网，旨在为客户解决营销欺诈、支付风控、数据盗爬、欺诈广告等风险问题；同时，结合人工智能技术打造全栈式智能内容识别引擎-天净，为客户提供一站式的智能内容安全解决方案，帮助客户识别文本、图片、音频、视频、网页中出现的涉黄、涉政、低俗、色情、导流广告等问题，规避业务风险，提升运营效率。\n\n数美科技的业务风控服务已成功覆盖游戏、直播、新零售、地产、电商、视频、金融、媒体、旅游、出行、教育等行业。\n截至目前，数美科技已服务华润置地、苏宁、云闪付、酷狗、爱奇艺、映客、探探、vipkid、B站、汽车之家、游族、小红书、keep等上千家知名企业。\n\n…………………………………………………………………………\n了解更多：www.ishumei.com", "workAddr": "北京-朝阳区-望京-望京诚盈中心", "origin": "拉钩网"} {"positionName": "数据分析（BI开发）", "companyName": "阅文集团招聘", "companySize": "500-2000人", "industryField": "文娱丨内容", "financeStage": "上市公司", "companyLink": "https://join.yuewen.com", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大平台，福利好，领导nice", "jobDetail": "工作职责:\n1、负责阅文集团免费产品飞读数据体系建设，包括渠道、用户、商业化、内容等维度数据采集、指标体系、BI报表设计与开发等方面；\n2、针对业务重点方向分析，包括用户增长数据分析、商业变现数据监控，产品功能效果分析等，通过严谨和系统性数据分析进行业务健康度监控，提供业务决策数据支持；\n任职资格:\n1、本科及以上学历，理科背景；\n2、3年以上数据分析/BI开发经验，熟悉互联网产品数据指标体系、埋点采集验证；有业务分析、总结归纳能力优先；\n3、对mysql、oracle，尤其是Hive有丰富经验，有较强的ETL脚本编程能力、调优能力；\n4、熟悉BI项目，具有数据仓库、BI系统开发经验者优先；\n5、熟练操作linux系统，熟悉shell/python脚本，掌握一定的数理统计、数据分析、挖掘建模方法优先；\n6、工作积极主动，细心踏实，具备高度的工作责任心，逻辑清楚，思维缜密，数据敏感度高", "workAddr": "北京-朝阳区-亚运村-天辰东路7号国家会议中心北区7层", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "360招聘", "companySize": "2000人以上", "industryField": "信息安全", "financeStage": "上市公司", "companyLink": "http://www.360.cn", "city": "北京", "salary": "20k-25k", "workYear": "经验1-3年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 平台大,免费三餐,健身房,班车", "jobDetail": "职位描述:\n 1. 负责360政企集团数据建模、算法设计和研发工作，通过海量数据分析，选择合理的指标，设计和改进安全数据挖掘和算法;\n2. 负责大数据平台架构设计和性能调优，构建数据平台，支持海量数据的离线和实时分析，对数据敏感；\n3. 熟悉实时数据计算和离线数据计算相关技术；\n4. 参与大数据平台的开发和维护，保证数据平台的稳定和可靠。\n 任职要求:\n 1．计算机、数学和统计学先关专业，本科及以上学历；\n2．熟悉linux开发环境，熟悉基础命令操作和shell脚本的编写；\n3．熟悉java、scala、python等任一开发语言，有2年及以上开发经验；\n4．熟悉Hadoop、Hive、Saprk等，有spark、flink、Es、Storm等开源框架优先；\n5．熟悉数据结构，对常用算法有所了解，有良好的数据思维；\n6．熟悉大规模数据挖掘、机器学习等相关技术，并有相应实践经验者优先；\n7．对数据敏感，有良好的沟通能力和团队合作能力，善于沟通，工作自主驱动，具备良好的问题定位分析能力。", "workAddr": "北京-朝阳区-酒仙桥-酒仙桥路6号院（电子城•国际电子总部）", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "混沌大学招聘", "companySize": "150-500人", "industryField": "移动互联网,教育", "financeStage": "不需要融资", "companyLink": "http://www.hundun.cn", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 弹性工作,六险一金,年度体检,学习氛围", "jobDetail": "职位描述：1. 负责大数据系统的数据清洗、建模、监控及治理2. 负责相关开源组件的性能、稳定性、可靠性等方面的深度研究和优化3. 解决生产环境的各种实际问题，保障大数据系统的平稳运行任职要求：1. 计算机相关专业本科及以上学历， 3 年以上工作经验2. 熟悉Python/Java，熟悉常见的数据结构和算法3. 对大数据生态体系中的一项或多项有深入了解，如 HDFS、MapReduce、HBase、Hive、Spark、Kafka等；4. 熟悉整个大数据平台的处理流程和大规模分布式集群的环境搭建5. 有Python web开发经验并熟悉主流开发框架者优先6. 良好的团队协作及沟通能力", "workAddr": "北京-海淀区-北太平庄-海淀区北三环中路44号院C座4层C408", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "椰子传媒技术部招聘", "companySize": "50-150人", "industryField": "移动互联网", "financeStage": "不需要融资", "companyLink": "www.ayang.com", "city": "北京", "salary": "20k-30k", "workYear": "经验3-5年", "education": "学历不限", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 移动互联网广告行业，拥有TB级数据", "jobDetail": "岗位职责：\n1、负责公司业务系统的数据加工、分析、处理工作；\n2、按照业务部门的要求加工数据，生成业务需要的分析数据，用于系统使用使用的用户标签数据；\n3、对业务数据进行优化，提升数据分析处理的效率；\n\n要求：\n\n1、精通Java或python其中一个语言及相关框架，能熟练掌握常用数据结构和算法；\n2、有实际的Hadoop生态系统HBbase/Hive/MP开发经验；\n3、熟悉Spark、Flink、Storm、Impala等计算和数据处理引擎的环境搭建、开发和管理；\n4、熟悉消息队列的原理，熟练使用Flink、Kafka、Activemq、Rabbitmq等常用的消息队列；\n5、掌握数据分析的基本流程，擅长数据采集、清洗、分析等环节，；\n6、具有较强的业务理解能力，并能快速应用于数据分析各阶段；\n7、能熟练掌握Linux的操作和使用；\n8、有云计算中心开发经验的优先；\n9、工作认真，负责，良好的团队合作精神和解决问题分析能力。钻研技术克服困难，勇于挑战；", "workAddr": "北京-朝阳区-望京-望京北路9号叶青大厦C座三层C309", "origin": "拉钩网"} {"positionName": "大数据算法工程师", "companyName": "玩吧招聘", "companySize": "150-500人", "industryField": "社交", "financeStage": "B轮", "companyLink": "http://www.moqiwanba.com", "city": "北京", "salary": "30k-60k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 七险一金,弹性不打卡,免费午餐,季度旅游", "jobDetail": "岗位描述：\n1、基于大数据平台，挖掘用户相关的信息，构建用户数据服务平台；\n2、通过对用户行为数据的挖掘，对用户进行建模，精准刻画用户各种属性；\n3、负责用户画像方向的数据研发、算法研究、关键问题解决；\n4、负责个性化推荐系统的研发，构建基于用户行为和喜好的内容推荐系统；\n5、促进用户画像在公司各业务领域的应用，持续提升用户产品体验。\n\n岗位要求：\n1、本科学历，计算机、数据科学等相关专业，5年以上工作经验；\n2、熟练掌握数据挖掘、机器学习的基础理论和方法，有用户画像、推荐系统实战经验；\n3、有处理海量数据的丰富经验，能使用Hadoop、Spark系统进行海量数据处理，并完成性能调优；\n4、编程基础扎实，熟悉算法数据结构，有丰富的开发调试经验；", "workAddr": "北京-东城区-东直门铁旁", "origin": "拉钩网"} {"positionName": "大数据平台开发工程师", "companyName": "阳光产险信保事业部信息技术部招聘", "companySize": "2000人以上", "industryField": "金融", "financeStage": "不需要融资", "companyLink": "http://microfinance.sinos...", "city": "北京", "salary": "15k-30k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金,节日福利,绩效奖金,医疗保险", "jobDetail": "岗位职责：1、参与数据平台相关业务的设计和大数据平台开发 2、保障和提升数据平台业务支撑能力3、负责相关模块的研发，保证系统性能、稳定和安全4、基于Hadoop生态系统相关开源技术的开发和优化等工作5、完成领导交办的其他工作职位要求： 1. 互联网或金融行业5年以上java/scala项目开发经验，JVM内存模型、对gc性能调优有一定经验 2. 熟悉常用设计模式、IO编程、多线程开发、常用算法、数据结构等，熟悉http/https、tcp/ip等通讯协议 3. 熟悉分布式工作原理，其中3~4年以上大数据平台或项目开发经验。。有金融类项目经验者优先4. 熟练掌握hadoop/zookeeper/kafka/hive/flume/es/spark/spark streaming/flink等大数据生态圈开源技术5. 熟练掌握mysql或oracle, 至少掌握以下主流nosql中的1种: redis/mongodb/hbase 6. 有Linux下开发、部署和调试能力。熟练掌握常用Linux命令，具备shell编程能力 7. 熟练掌握git/svn 版本管理工具, maven构建工具。Eclipse、IDEA等开发工具8. 有较强的责任心和良好的沟通能力，有独立解决问题的能力和排查分析定位问题的能力9. 关注大数据生态圈和开源论坛社区，有开源代码贡献者优先岗位任职条件：1、学历与专业：计算机相关专业2、年龄与性别：35以内3、工作经验：5年以上java/scala等项目开发经验，其中需包含3~4年以上大数据4、行业背景：互联网、金融、IT等5、计算机使用技能：java hadoop spark Kafka es等6、素质能力及性格特征：有团队意识 积极主动 热爱钻研技术7、其他：英语良好", "workAddr": "北京-朝阳区-朝外-联合大厦19层", "origin": "拉钩网"} {"positionName": "大数据工程师", "companyName": "本来生活网产品技术中心招聘", "companySize": "2000人以上", "industryField": "消费生活", "financeStage": "C轮", "companyLink": "http://www.benlai.com", "city": "北京", "salary": "15k-20k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 前景好", "jobDetail": "岗位职责：\n1. 负责业务相关数据内容规划和设计，实现数据互通共享体系，解决海量数据面临的挑战；\n2. 负责大数据存储和计算框架的设计、开发和优化，构建离线、实时数据的计算能力；\n3. 负责GP和PG集群的管理和优化，打造高性能、高可用性的数据存储、计算系统；\n4. 根据业务需求进行上游数据平台设计开发，打造高可用的数据平台。\n5.构建稳定的GP集群、数据集市和数据查询引擎；\n任职要求：\n1. 本科及以上学历，3年及以上数据研发经验，具备良好的沟通能力和表达能力；\n2. 熟悉Linux系统，具备Java/Scala/Python/PHP等一种或几种语言的开发能力；\n3. 熟悉Hadoop/Spark/Kafka/Hive/HBase/Flume/Storm/GP等大数据相关技术，对源码有研究或者有调优经验者优先；\n4. 熟悉并行计算或者分布式计算原理，熟悉高并发、高稳定性、可线性扩展、海量数据的系统特点和技术方案；\n5. 有大数据系统平台项目经验，掌握实时数据、离线数据处理系统搭建和开发；\n6. 学习能力强，热衷开源技术，有团队观念，具备独立解决问题的能力。\n有GP、自动化报表和查询工具经验者优先", "workAddr": "北京-朝阳区-八里庄-八里庄西里99号住邦2000商务中心1号楼B座15层", "origin": "拉钩网"} {"positionName": "大数据-数据产品经理-北京-...", "companyName": "搜狗营销事业部招聘", "companySize": "2000人以上", "industryField": "工具", "financeStage": "上市公司", "companyLink": "http://www.sogou.com", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大数据产品,海量数据,团队融洽", "jobDetail": "项目介绍\n大数据是目前我们重点项目之一，主要是整合搜狗的大数据（输入法、搜索、商业等产品），形成搜狗的大数据中心。同时，推动搜狗对外的大数据合作，形成强大的大数据商业和用户产品；此岗位主要负责商业侧数据的业务。\n\n职位诱惑\n大数据产品，海量数据研究，自驱动强，渴望创新与能力发挥者的好职位；团队融洽\n\n岗位职责\n1.负责数据产品规划及方案设计，并能针对各场景进行需求沟通与分析、方案规划、原型设计、需求文档撰写\n2.跟进数据产品的研发、上线及测试全流程，对数据结果进行验收，把握产品质量\n3.搭建数据指标体系，保证数据指标口径统一和数据准确性\n4.基于产品与业务逻辑，进行数据监控报表设计、监控及异常问题的查找与分析\n5.配合相关的产品、业务、财务等部门，提供必要的数据统计分析支持\n\n任职条件\n1.本科或以上学历，计算机、统计、数学、信息管理与信息系统、运筹学等相关专业毕业\n2.有2-3年以上数据产品经验，熟练掌握数据分析基本方法，有独立完成某主题数据分析及挖掘工作的经验\n3.有充分的数据敏感度，能从海量数据表现中提炼核心结果，及时分析\n4.熟练使用Axure等产品设计工具，熟练使用SQL语言，熟练使用PPT、EXCEL、word等办公软件\n5.良好的逻辑思维能力、表达能力、分析问题和解决问题能力、快速学习能力、沟通协调能力及团队精神\n6.有较强的责任心和学习积极性", "workAddr": "北京-海淀区-五道口-五道口搜狐网络大厦", "origin": "拉钩网"} {"positionName": "大数据售前顾问", "companyName": "派拉软件招聘", "companySize": "150-500人", "industryField": "数据服务", "financeStage": "上市公司", "companyLink": "http://www.paraview.cn", "city": "北京", "salary": "25k-35k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金 餐补 带薪假 13薪 双休", "jobDetail": "岗位职责： 1、负责大数据类售前支持工作，包括技术交流、产品和解决方案宣讲、系统演示等； 2、独立完成客户需求挖掘，规划设计行业大数据解决方案； 3、组织编写宣传材料、解决方案、投标方案等； 4、配合销售人员提供良好的售前技术支持，包括不限于提供优秀的行业解决方案，前瞻性技术讲解，客户业务优化建议，参与并完成POC工作； 5、理解行业市场，收集市场信息及竞品信息，分析市场需求和行业趋势。岗位要求：1、计算机类专业，本科以上学历，5年以上IT行业工作经验； 2、2年以上大数据售前工作经验，熟悉大数据生态系统和相关技术，熟悉大数据应用场景； 3、熟悉主流的BI、大数据和云计算相关技术架构，能够独立完成大型项目规划； 4、良好的表达沟通能力，良好的方案编写、讲解与演讲能力； 5、具备快速学习能力，一定程度的抗压能力，能够接受适度出差； 6、具备大数据相关开发经验者优先。", "workAddr": "北京-海淀区-上-海淀区硅谷亮城", "origin": "拉钩网"} {"positionName": "数据开发工程师", "companyName": "小米招聘", "companySize": "2000人以上", "industryField": "硬件", "financeStage": "D轮及以上", "companyLink": "http://www.mi.com", "city": "北京", "salary": "30k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 年底双薪、股票期权、弹性工作、扁平管理", "jobDetail": "岗位描述：\n1、负责或参与数据统计分析相关平台的设计和研发。\n2、负责对用户行为、产品和运营方面的数据进行分析和挖掘，为产品优化和业务决策提供数据支持。\n3、数据ETL、数据仓库模型设计和研发。\n岗位要求：\n1、掌握Java和Scala语言之一，熟悉常见数据结构、算法和设计模式。\n2、熟悉hadoop生态系统内常见项目的使用(如Hadoop，Spark，Hive，Kafka，Hbase等)， 对其架构有一定理解。\n3、掌握数据仓库、ETL开发相关技术。\n4、熟悉分布式系统的设计和应用，有实际大数据分析处理项目经验。\n5、较强的分析解决问题能力，沟通协调及团队精神。\n6、3年以上工作经验。", "workAddr": "北京-海淀区-西三旗-安宁庄东路7号融科融智蜂巢工场", "origin": "拉钩网"} {"positionName": "数据开发", "companyName": "阅文集团招聘", "companySize": "500-2000人", "industryField": "文娱丨内容", "financeStage": "上市公司", "companyLink": "https://join.yuewen.com", "city": "北京", "salary": "18k-36k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大平台、领导nice、福利好", "jobDetail": "工作职责:\n1. 负责阅文集团免费产品飞读数据体系建设，包括渠道、用户、商业化、内容等维度数据采集、指标体系、BI报表设计与开发等方面；\n2. 负责大数据底层数据基础搭建，包括数据仓库、数据集市的模型设计与开发，ETL数据准确性验证及ETL任务的优化；\n任职资格:\n1. 3年以上经验，熟悉大数据处理相关产品架构和技术（如Hadoop/Hive/HBase/Spark/Kafka/Storm/Flume等） ；\n2. 熟悉数据仓库理论与技术，对ETL及BI有概念并具有丰富的实际操作经验，熟悉ETL开发流程； \n3. 熟悉BI项目，具有数据仓库、BI系统开发经验者优先；对mysql、oracle有丰富经验，有较强的数据库脚本编程能力，有较强的存储过程编写能力； \n4. 熟练操作linux系统，熟悉shell脚本或python； \n5. 有较强的逻辑思维能力，善于分析、归纳、快速定位并解决问题； \n6. 性格积极且沉稳，勤奋严谨，强烈的进取心、求知欲和团队合作精神。", "workAddr": "北京-朝阳区-亚运村-天辰东路7号国家会议中心北区7层", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "玩吧招聘", "companySize": "150-500人", "industryField": "社交", "financeStage": "B轮", "companyLink": "http://www.moqiwanba.com", "city": "北京", "salary": "30k-60k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 七险一金,弹性不打卡,免费午餐,季度旅游", "jobDetail": "岗位描述：\n1、参与大数据平台建设，完成大规模数据存储设计、实现；\n2、负责大数据采集、处理、转换、分析、业务需求等相关开发；\n3、设计面向业务的OLAP，完成企业级数仓的建设；\n4、负责大数据作业优化及质量保障；\n5、参与大数据系统及应用架构设计及新技术调研。\n\n岗位要求：\n1、本科学历，计算机、数据科学等与大数据相关专业，5年以上工作经验；\n2、精通Hadoop相关技术，包括Spark，Hbase，HDFS，Hive，Yarn，Kafka，Flume，Spark、Flink，Storm等；\n3、精通java、scala开发语言，精通SQL，熟悉MySQL，熟悉shell，python等脚本语言，熟悉git，jira等工具；\n4、具有优秀的开发规范意识，对大数据技术和开发有热情，工作认真负责，有较强的学习能力和团队合作意识；\n5、参与过数据处理、分析、挖掘等相关项目，熟悉阿里云日志系统。", "workAddr": "北京-东城区-东直门铁旁", "origin": "拉钩网"} {"positionName": "信息流广告-大数据Java开发...", "companyName": "搜狗营销事业部招聘", "companySize": "2000人以上", "industryField": "工具", "financeStage": "上市公司", "companyLink": "http://www.sogou.com", "city": "北京", "salary": "25k-45k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 15天年假", "jobDetail": "项目介绍：\n部门营收连年翻番，人均产出名列前茅，致力于吸纳对互联网商业模式、营销推广有浓厚兴趣的同学；基于商业广告，建设大数据海量数据离线和实时分析系统和计算平台，在这里有深厚的技术积淀，有浓郁的技术氛围，我们可以让数据变得更有价值\n\n职位诱惑：\n核心业务，专注数据能力搭建，团队气氛佳，成长迅速\n\n工作职责：\n1.大数据存储及应用，服务架构改造相关的创新性技术调研、应用；\n2.提升集群处理能力/高可用性/高扩展性的各种解决方案进行跟踪和落地；\n3.提升系统安全性和稳定性，优化系统架构，提升研发效率\n岗位要求：\n1.正规院校计算机或相关专业本科（或以上）学历；\n2.熟悉Hive、Flink、Spark、Kafka等相关数据处理和数据存储技术，具有较丰富的大数据开发经验者优先；\n3.熟悉Linux/Unix系统，熟悉Java开发，3年以上Java项目经验，熟悉Spring、Mybatis等流行框架；\n4.熟悉常用算法的数据接口，熟悉设计模式；\n5.熟悉数据库及SQL语言，熟悉Mysql，对Mysql调优等有经验优先；\n6.强烈的责任心、良好的沟通能力、团队协作精神，具有解决挑战性问题的激情。", "workAddr": "北京-海淀区-五道口-五道口搜狐网络大厦", "origin": "拉钩网"} {"positionName": "大数据售前顾问", "companyName": "派拉软件招聘", "companySize": "150-500人", "industryField": "数据服务", "financeStage": "上市公司", "companyLink": "http://www.paraview.cn", "city": "北京", "salary": "25k-35k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金 餐补 带薪假 13薪 双休", "jobDetail": "岗位职责： 1、负责大数据类售前支持工作，包括技术交流、产品和解决方案宣讲、系统演示等； 2、独立完成客户需求挖掘，规划设计行业大数据解决方案； 3、组织编写宣传材料、解决方案、投标方案等； 4、配合销售人员提供良好的售前技术支持，包括不限于提供优秀的行业解决方案，前瞻性技术讲解，客户业务优化建议，参与并完成POC工作； 5、理解行业市场，收集市场信息及竞品信息，分析市场需求和行业趋势。岗位要求：1、计算机类专业，本科以上学历，5年以上IT行业工作经验； 2、2年以上大数据售前工作经验，熟悉大数据生态系统和相关技术，熟悉大数据应用场景； 3、熟悉主流的BI、大数据和云计算相关技术架构，能够独立完成大型项目规划； 4、良好的表达沟通能力，良好的方案编写、讲解与演讲能力； 5、具备快速学习能力，一定程度的抗压能力，能够接受适度出差； 6、具备大数据相关开发经验者优先。", "workAddr": "北京-海淀区-上-海淀区硅谷亮城", "origin": "拉钩网"} {"positionName": "大数据项目经理", "companyName": "DataStory北区招聘", "companySize": "150-500人", "industryField": "数据服务", "financeStage": "B轮", "companyLink": "http://www.datastory.com.cn", "city": "北京", "salary": "20k-30k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 高速发展,奖励多多,企业大数据,业务导向", "jobDetail": "岗位职责：\n1、负责企业定制化大数据项目管理，能够提供大数据平台建设、数据管理平台建设，以及基于平台上的大数据分析解决方案；\n2、负责项目用户需求分析、挖掘、细化出项目需求，负责项目相关产出物、文档、汇报材料的统筹和质量把控；\n3、负责项目团队管理，可以带领项目成员按时完成设计及开发工作；\n4、负责项目开发进程管理，能够组织项目组技术选型攻关、组织技术团队完成技术工作；\n5、积极响应客户需求，提升客户满意度；\n\n任职条件：\n1、本科以上学历，计算机软件相关专业背景优先；\n2、熟悉大数据生态和相关开源项目，需要具备大数据相关项目管理经验；\n3、优秀的沟通能力与团队协作能力，良好的审美和文档能力；\n4、具备良好的时间观念、质量意识；\n5、具备快消行业/乳业/食品饮料类优先；\n6、有市场洞察、品牌资产、客群分析、产品R&D、会员运营相关项目经验优先。", "workAddr": "北京-朝阳区-建国门-光华路丙12号数码01大厦26层", "origin": "拉钩网"} {"positionName": "高级大数据开发工程师", "companyName": "闲徕互娱招聘", "companySize": "150-500人", "industryField": "移动互联网", "financeStage": "不需要融资", "companyLink": "http://www.xianlaigame.com", "city": "北京", "salary": "25k-50k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 发展前景", "jobDetail": "职位描述：\n1、负责公司数据平台的架构设计及实施；\n2、负责数据仓库的设计与实施；\n3、负责符合业务的数据工具的抽像及研发；\n4、负责大数据开发团队小组的工作协调和管理。\n\n任职条件\n1、熟练掌握大数据常用框架，如spark,hive,hbase等；\n2、熟练开发spark streaming流式分析作业及离线分析作业，熟练应用spark 2.x新特性，掌握flink开发；\n3、掌握scala开发语言，对底层实现有一定研究，熟练使用Python语言；\n4、有丰富的数据仓库设计及开发经验，从数据采集到数据报表的整个全链路有比较深刻的理解；\n5、具有良好的沟通能力和团队合作精神。", "workAddr": "北京-朝阳区-汇中广场", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "苏州精正招聘", "companySize": "少于15人", "industryField": "企业服务,金融", "financeStage": "不需要融资", "companyLink": "http://www.eli-soft.com", "city": "北京", "salary": "20k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 背景雄厚 技术大牛", "jobDetail": "职位描述:\n1、参与分布式大数据处理系统和数据服务基础设施的架构设计和开发；\n2、和产品经理一起梳理和完善系统功能需求；\n3、改进系统性能；\n\n任职要求:\n1、了解分布式、微服务、传统关系型数据库、常用NoSQL开源系统、RESTful、基本的信息安全领域知识\n2、精通Java代码，其他语言不限制\n具体要求：\n1、本科及以上学历，5年以上大型互联网产品或分布式系统开发设计经验；\n2、丰富的Java研发经验,精通Java, 熟悉Shell或Python等一种或几种脚本语言者优先；\n3、熟悉常用分布式系统相关理论基础，有一定的分布式系统开发经验，有互联网公司中大型分布式系统经验优先\n4、具备Spring Cloud等微服务设计和开发经验和能力；\n5、熟悉大数据技术栈,对Hadoop、Hive、Spark、Hbase、Kafka、ELK等开源组件有使用及优化经验者优先 。", "workAddr": "北京-西城区-展览路-北京西城区阜成门外大街京润大厦", "origin": "拉钩网"} {"positionName": "数据开发工程师-【电商】", "companyName": "快手招聘", "companySize": "2000人以上", "industryField": "文娱丨内容", "financeStage": "D轮及以上", "companyLink": "https://www.kuaishou.com/", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 福利待遇好", "jobDetail": "职位描述\n1、为快手电商新产品构建业务指标体系，建立和完善日常业务报告体系，能够及时、准确、完整的披露业务方向的运作情况； \n2、负责快手电商新产品数据统计、报表产出、效果监测、归因分析和商务支持； \n3、通过专项分析，输出专项分析报告，为快手电商的业务决策和产品方向提供数据支持和指导； \n4、参与埋点设计、数据生产全流程等技术体系建设和保障工作； \n5、参与数据集市建模与数据开发，建设共享数据集市。\n任职要求\n1、本科以上学历，两年以上数据开发经验； \n2、灵活运用Hive实现海量数据ETL加工处理，Hive查询优化； \n3、熟悉数据集市模型设计方法论，并有实际模型设计及ETL开发经验； \n4、熟悉常用的数据挖掘、分析工具和方法，有数据挖掘工作经验；熟悉Linux平台，精通Shell/C、C++/Java/Python 等脚本语言的一种或多种，编码基本功扎实； \n5、具备快速学习能力，跨团队沟通协作能力，团队精神。\n加分项：\n1、有较强产品Sense优先； \n2、有数据洁癖和代码洁癖者优先。", "workAddr": "北京-海淀区-西二旗-上西路快手总部", "origin": "拉钩网"} {"positionName": "大数据平台研发", "companyName": "联通大数据技术部招聘", "companySize": "150-500人", "industryField": "数据服务", "financeStage": "不需要融资", "companyLink": "http://www.chinaunicom.com/", "city": "北京", "salary": "15k-25k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 技能提升,岗位提升,交通便利,待遇优厚", "jobDetail": "岗位职责：1.负责平台类和服务类大数据产品的规划、需求分析和架构设计；2.研究大数据平台的开放形态和生态，建立和维护大数据平台技术标准规范，推动业务领域内的数据产品的创新和设计；3.进行大数据的挖掘、存储、抽取、计算、应用、整合、可视化及API接口设计等研发工作，进行数据质量控制；4.负责新技术的调研和选型，设计和实现数据安全架构和数据权限控制；5.管理和指导大数据团队日常工作，选拔和培养合格的大数据人才，形成合理梯队；岗位要求：1.计算机、软件工程、通信相关专业全日制本科以上学历； \n2.精通Java、Python、Scala中至少一门开发语言，能熟练编写数据应用；3.精通Hadoop框架体系，能够熟练应用Hive、Hbase工具，精通Spark、SparkSQL、SparkStreaming，Storm等技术框架，具有项目经验；4.5年以上大数据相关工作经验，2年以上团队管理经验，分析能力、逻辑思维和沟通交流能力强，执着于技术未知领域的探索；5.熟悉Kafka、Redis、Memcache等消息或缓存框架和Sqoop、Flume、Spider等数据或日志采集技术优先；6.熟悉大数据的硬件基础设施(机器选型、网络架构)等主要设备的运行特点和性能指标优先；7.理解病掌握kubernetes、dcos等资源调度系统的工作原理和实现方式。", "workAddr": "北京-东城区-雍和宫-雍和宫壹中心", "origin": "拉钩网"} {"positionName": "大数据研发专家", "companyName": "必示科技大数据研发部招聘", "companySize": "50-150人", "industryField": "人工智能", "financeStage": "A轮", "companyLink": "https://www.lagou.com/gon...", "city": "北京", "salary": "25k-50k", "workYear": "经验不限", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 人工智能，大数据，五险一金，奖金，福利", "jobDetail": "主要职责：\nŸ 负责智能运维大数据的研发和测试，撰写相关文档\nŸ 负责高性能、高可用的大数据平台的设计和优化，制定技术演进路线\nŸ 负责大数据计算资源的监控、管理和优化\nŸ 负责大数据应用产品的代码研发、重构和优化\nŸ 对产品实施交付过程中遇到的技术问题提供支持\nŸ 关注并研究大数据生态最新的前沿技术，推动产品技术革新\n \n职位要求：\nŸ 本科及以上学历，计算机相关专业，3年及以上工作经验\nŸ 扎实的计算机基础，掌握常用的数据结构及算法，熟练掌握Java/Golang/Scala/Python 中的一项或多项\nŸ 了解分布式系统，大数据平台，有完整的数据工程项目经验，具备一定的框架设计以及抽象能力\nŸ 熟悉Hadoop生态体系，包括但不限于：Hadoop、Hive、HBase、Spark、Flink、Kafka、Beam等\nŸ 良好的团队精神以及合作意识，热爱技术，高度自驱，追求卓越，对数据敏感\nŸ 对批量计算，流式计算，时序数据处理，存储引擎，资源调度等一项或多项有深入理解优先\nŸ 有ES经验优先", "workAddr": "北京-海淀区-中关村-五道口东升大厦", "origin": "拉钩网"} {"positionName": "数据平台开发工程师", "companyName": "环球网校招聘", "companySize": "500-2000人", "industryField": "移动互联网,教育", "financeStage": "D轮及以上", "companyLink": "http://www.hqwx.com/", "city": "北京", "salary": "18k-26k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金、平台大、行业前景好", "jobDetail": "岗位职责：1. 负责大数据平台的搭建、完成数据平台各功能组件设计和开发工作，解决数据平台搭建过程中遇到的技术难题。2. 负责数据采集、处理、存储、应用过程中技术方案的选型和实施。3. 负责数据产品相关的开发工作。4. 对大数据平台相关组件的进行持续运维和优化。任职要求：1 熟练掌握Java语言，具备扎实的程序设计基本功及编码能力。2. 有过Web项目的开发经验，熟悉Spring、 mybatis等框架。3. 具备大数据平台的开发经验，熟悉至少一种大数据相关组件，例如Hadoop、Spark、Flink、Hbase、Clickhouse、Druid、Kafka等。4. 熟悉Linux环境，具备在linux下定位、调试、优化平台组件运行过程中遇到的问题的能力5. 主动性强，具有良好的沟通、协调能力6. 具备良好的文档编写能力，能够准确理解业务需求，并转化成系统设计文档。", "workAddr": "北京-海淀区-学院路-知春路7号致真大厦D座4层", "origin": "拉钩网"} {"positionName": "数据应用开发工程师", "companyName": "狮桥集团互联网中心招聘", "companySize": "2000人以上", "industryField": "金融,物流丨运输", "financeStage": "不需要融资", "companyLink": "http://www.lionbridgecapi...", "city": "北京", "salary": "15k-20k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 绩效奖金,节日福利,团队建设,生活补贴", "jobDetail": "【岗位职责】 \n1. 负责所属模块的代码开发、调试与维护工作；\n2. 参与公司数据中台功能规划、需求分析设计、技术实现；\n3. 参与公司平台的架构优化，性能优化并辅助其他模块进行技术实现；\n4. 快速响应产品需求并进行开发和交付；\n5. 协助并完成其他各类技术开发任务。\n\n【任职要求】\n1. 必须具备条件：SpringBoot两年或以上，Java基础扎实；熟悉Neo4j优先，有GPS相关项目优先。\n2. 3年以上的Java开发及应用经验；了解J2EE规范和常用的设计模式，熟练掌握Web的开发和应用；\n3. 熟练掌握目前主流的开源框架（Spring／SpringBoot／MyBatis/SpringCloud/Dubbo等），并对其核心思想和实现原理有一定的了解；熟悉SpringCloud优先；\n4. 熟悉微服务架构思想，并有相关项目经验；\n5. 熟练掌握MySql、Oracle关系型数据库，具备一定的SQL编写能力；了解、熟悉Hive、Hbase优先；\n6. 熟悉Linux操作系统，掌握常用的Linux命令；\n7. 如果你有产品意识、善于沟通、积极主动、有良好的快速学习能力和团队协作能力；能够以目标为导向理解工作中相关任务的处理优先级关系。我们更加欢迎。\n\n【还有……】\n1. 你将全程参与、开发、实施公司数据中台的搭建从0到1，并持续优化的过程；\n2. 你将有机会将好的技术实施在生产环境;CICD、Docker、K8S、Neo4j，你敢想并且评审可实施我们就敢干；\n3. 你将有机会学习 Hadoop 生态圈、图数据库（Neo4j）技术，并实施到生产。", "workAddr": "北京-朝阳区-望京-望京宏泰东街绿中心中国锦22层", "origin": "拉钩网"} {"positionName": "大数据产品经理【北京】", "companyName": "数澜科技华北技术中心招聘", "companySize": "150-500人", "industryField": "企业服务,数据服务", "financeStage": "A轮", "companyLink": "http://www.dtwave.com/ind...", "city": "北京", "salary": "15k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金、扁平化管理", "jobDetail": "岗位描述：\n1、负责面向企业、政府、开发者、ISV等客户的大数据产品及应用解决方案的设计、规划和落地；\n2、调研不同行业的企业客户，深度挖掘利用大数据帮助客户优化企业经营链路的场景点；\n3、根据客户需求，并结合行业产品经验，抽象提炼出数据解决方案及产品的功能点，并进行产品架构、数据设计、流程图、产品原型设计；\n4、组织和推动产品团队、核心开发团队，快速完成解决方案产品化工作，梳理提供PRD、产品架构图、需求列表、开发计划、用户手册等文档 。\n岗位要求：\n1、 本科及以上学历，扎实的数据平台/数据产品开发或设计基础，3年以上相关经验，有独立负责大数据产品经验者为佳；\n2、 具有数据技术背景，具有大数据、云计算、ETL、数据挖掘的技术背景为佳，有数据标签方面工作经验的作为加分项；\n3、有丰富的产品设计和项目管理经验，并可以熟练使用Axure等工具进行产品的原型设计，具备SQL等技术开发经历或有数据平台产品经理从业经验的作为加分项；\n4、具备较强的数据分析能力、逻辑思维能力、沟通能力，能够有效整合团队资源推动业务发展；\n5、有很强的产品owner意识，良好的自我管理能力、环境适应能力和执行力，能较大压力下保持工作激情；\n6.、热爱数据，喜欢迎接挑战和承担责任，积极主动，高效的执行力；\n7、有团队管理经验优秀考虑。", "workAddr": "北京-朝阳区-望京sohoT2，C座2511", "origin": "拉钩网"} {"positionName": "数据平台开发工程师（Java）", "companyName": "雷达集团研发部招聘", "companySize": "50-150人", "industryField": "移动互联网,金融", "financeStage": "不需要融资", "companyLink": "http://www.radarbrokers.cn/", "city": "北京", "salary": "20k-35k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 核心部门，发展空间，大牛多，氛围nice", "jobDetail": "岗位职责；\n负责互联网金融相关产品的后端数据平台建设、开发、维护工作。\n\n任职资格：\n1.对 java基础技术体系（JVM、多线程编程，REST API，IO）有一定的掌握和运用；\n2. 对面向对象有深刻的理解，深刻理解设计模式以及应用场景；\n3. 熟悉VIM，linux基本操作；熟悉一两种数据库、redis、nginx等尤佳。\n4. 熟悉git各种操作；\n5. 英语四级及以上。\n6.表达能力强、逻辑清晰、责任心强。\n7.工作四年以上。\n\nPS： 有金融行情、交易、金融、账户、清结算业务经验加分。", "workAddr": "北京-朝阳区-国航世纪大厦", "origin": "拉钩网"} {"positionName": "大数据算法工程师", "companyName": "闲徕互娱招聘", "companySize": "150-500人", "industryField": "移动互联网", "financeStage": "不需要融资", "companyLink": "http://www.xianlaigame.com", "city": "北京", "salary": "30k-60k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 发展空间", "jobDetail": "岗位职责:\n\n1、 基于海量用户行为数据，建立、评估、持续优化数据模型，构建和优化用户画像，产出用户标签，用于提升推荐/运营效果2、负责搭建用户画像挖掘系统，包括数据处理、挖掘用户画像、准确性评估等3、负责用户画像需求分析，把控用户画像的建设方向，设计和构建基于用户静态和动态行为特征的平台化画像服务能力 \n任职资格:\n\n1、熟悉统计理论和数据挖掘算法,包括聚类、KNN、朴素贝叶斯,决策树,随机森林等,熟悉CNN,RNN,LSTM等神经网络算法；2、熟悉常用的机器学习算法，并有较强的动手实现能力；3、具备完成特征工程、算法建模、效果评估及深度优化等整流程工作的能力；4、具有优秀的分析和解决实际问题的能力和态度，良好的团队意识和协作精神。", "workAddr": "北京-朝阳区-汇中广场", "origin": "拉钩网"} {"positionName": "高级大数据分析师", "companyName": "联通大数据招聘", "companySize": "150-500人", "industryField": "数据服务", "financeStage": "不需要融资", "companyLink": "http://www.chinaunicom.com/", "city": "北京", "salary": "15k-20k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金 各种福利补贴", "jobDetail": "工作职责：\n1. 根据业务场景需要，负责大数据模型和算法的开发、调试和修改，并配合研发人员实施落地，对模型质量及商业效果负责\n2. 负责针对海量用户行为和内容信息，构建和优化用户画像标签知识体系\n3. 负责产品及方案的数据维度深度分析、规划，配合产品经理规划数据产品，并利用数据进行初步的可行性验证\n4. 负责公司大数据资源的系统性建设规划及落地，并跟踪推进相关\n5. 负责数据分析课题、理论的研究和报告的撰写\n6. 负责数据提取、统计、清洗、质量等数据处理工作\n任职要求：\n1. 数学、统计学、情报学、经济学等相关专业研究生以上学历；\n2. 3年以上数据分析工作经验，具有大数据资源管理规划经验优先考虑，具有成功商业化大数据产品经验优先；\n3. 熟悉常见的统计及机器学习算法，掌握python/R/scala至少一种；\n4. 熟练掌握hadoop生态、spark等相关大数据技术及环境；\n5. 对基本的统计理论和常用的统计模型有深入的了解，掌握关联分析、聚类分析、回归分析等；\n6. 具有良好的数据敏感性和业务视野，能够敏锐的捕捉数据价值和产品机会；\n7. 有良好的逻辑思维能力，能从繁杂的事务中快速找到关键环节，工作态度严谨细致；\n8. 有ownership，能高效推动事情的进展；", "workAddr": "北京-东城区-雍和宫-雍和宫壹中心", "origin": "拉钩网"} {"positionName": "大数据咨询专家【北京】", "companyName": "数澜科技咨询服务部招聘", "companySize": "150-500人", "industryField": "企业服务,数据服务", "financeStage": "A轮", "companyLink": "http://www.dtwave.com/ind...", "city": "北京", "salary": "25k-35k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 技术大牛、扁平化管理", "jobDetail": "岗位职责：\n1、能快速捕捉客户的业务痛点，并能结合数澜产品挖掘出项目机会；\n2、针对客户的业务需求基于大数据理念及平台产品完成大数据相关解决方案的具体撰写和客户现场讲解；\n3、与市场部门部门紧密合作，推进行业大数据平台应用解决方案及数据产品的业务扩展。\n任职资格：\n1、本科以上学历，3年以上技术开发或者咨询经验，熟悉数据开发、BI者优先；\n2、有很强的与客户沟通和理解能力，有良好的团队协作精神、学习能力、环境适应能力和执行力，在较大压力下保持工作激情；\n3、具有敏锐捕捉客户业务痛点，并挖掘出实质性项目机会的能力；\n4、对于大数据领域知识（如：标签、Daas、数据业务化等）有较深入的了解，有相关工作背景者优先考虑。", "workAddr": "北京-朝阳区-望京sohoT2，C座2511", "origin": "拉钩网"} {"positionName": "数据平台开发工程师（Java）", "companyName": "雷达集团研发部招聘", "companySize": "50-150人", "industryField": "移动互联网,金融", "financeStage": "不需要融资", "companyLink": "http://www.radarbrokers.cn/", "city": "北京", "salary": "20k-35k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 核心部门，发展空间，大牛多，氛围nice", "jobDetail": "岗位职责；\n负责互联网金融相关产品的后端数据平台建设、开发、维护工作。\n\n任职资格：\n1.对 java基础技术体系（JVM、多线程编程，REST API，IO）有一定的掌握和运用；\n2. 对面向对象有深刻的理解，深刻理解设计模式以及应用场景；\n3. 熟悉VIM，linux基本操作；熟悉一两种数据库、redis、nginx等尤佳。\n4. 熟悉git各种操作；\n5. 英语四级及以上。\n6.表达能力强、逻辑清晰、责任心强。\n7.工作四年以上。\n\nPS： 有金融行情、交易、金融、账户、清结算业务经验加分。", "workAddr": "北京-朝阳区-国航世纪大厦", "origin": "拉钩网"} {"positionName": "大数据研发工程师", "companyName": "赢时胜软件中台赋能中心招聘", "companySize": "500-2000人", "industryField": "金融", "financeStage": "上市公司", "companyLink": "http://www.ysstech.com", "city": "北京", "salary": "18k-25k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 晋升空间大 团队氛围好 技术提升", "jobDetail": "技能要求：\njava，Hadoop，SCALA，Hive，Flink\n岗位职责：1、基于大数据平台的应用系统设计、开发、维护；2、承担公司大数据相关项目的需求分析、开发、实施、现场支持。任职资格：1、计算机或相关专业本科及以上学历；2、3年以上相关工作经验，至少熟练掌握Java，Scala，Python中的一种或多种；3、熟练使用Hadoop、Spark、Storm、SparkStreaming、Hive、HBase进行应用开发；4、熟悉搜索引擎，例如Impala，Presto，Elasticsearch等；5、具备基本的Hadoop运行环境的运维管理经验；6、有实际的大数据应用工程开发经验；7、熟悉金融领域相关知识或有金融系统开发经验的优先。", "workAddr": "北京-朝阳区-十里堡-青年路达美中心16层", "origin": "拉钩网"} {"positionName": "SA-腾讯社交广告大数据研发...", "companyName": "腾讯招聘", "companySize": "2000人以上", "industryField": "社交", "financeStage": "上市公司", "companyLink": "http://hr.tencent.com", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 鹅厂福利", "jobDetail": "岗位职责：\n腾讯社交广告系统数据工程平台研发，偏重系统架构设计与实现，参加以下一到多项工作： \n1. 搭建数据仓库，存储并处理海量的实时、批量数据，满足广告业务的定向、分析和模型特征等业务需要\n2. 建设数据发布系统，将数据仓库的数据应用到广告在线业务\n3. 特征工程工程系统建设，为模型方提供特征数据流和特征离线调研、评估平台，并保证模型训练和预测阶段的特征线上与线下一致性；\n4. 用户标识映射、画像数据在线服务的开发与维护；\n5. 广告后台海量日志数据和广告主数据处理平台；\n6. 报表和广告策略的统计数据生成和存储；\n7. 多维透视业务索引和存储。\n任职要求：\n\n 重点大学本科以上学历，计算机相关专业；\n 具有扎实的数据结构和算法功底； \n 熟练使用 Java，Scala，C/C++， Python；\n 有海量数据处理经验，熟悉 Hadoop，Spark，HBase，Beam等开源框架 ；\n 有分布式系统，Tensorflow等机器学习系统等经验优先 ；\n 有较强学习能力和逻辑思维能力，具备良好的问题分析与解决能力； \n 善于沟通，工作积极主动，责任心强，具备良好的团队协作能力。", "workAddr": "北京-海淀区-中关村-银科大厦", "origin": "拉钩网"} {"positionName": "资深大数据运维/运维架构师", "companyName": "马上金融招聘", "companySize": "2000人以上", "industryField": "金融,移动互联网", "financeStage": "不需要融资", "companyLink": "http://www.msxf.com", "city": "北京", "salary": "30k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 算法大牛导师制、年底双薪", "jobDetail": "职责描述：\n1、 负责hadoop、hbase、storm、spark，flume，kafka等大数据平台的规划、部署、监控、系统优化等工作;\n2、处理各类异常和故障，确保系统平台的稳定运行;\n3、深入理解系统平台，为其持续优化提供建设性意见\n任职要求：\n1、学历要求:统招本科及以上学历，计算机以及相关专业，\n2、经验要求: 5年以上大数据运维经验\n3、技能要求:\n（1）精通Hadoop Mapreduce 运维；了解Hadoop、HDFS原理、shell/Python语言熟练\n（2）熟悉Hbase redis等nosql系统，了解Hbase实现原理 ，熟悉HIVE、zookeeper安装部署、spark安装维护调优、Kafka 安装维护、Scala安装维护、tomcat 的维护；\n（3）对分布式开源项目有技术兴趣，能跟踪Hadoop开源社区的发展方向，不断改进和优化集群\n（4）熟悉python\\java语言的优先考虑、熟悉linux操作系统、优化操作\n4、通用要求：\n（1）性格坚韧，乐观向上，有抗压能力\n（2）能自我驱动，通过学习解决技术问题；善于沟通，勤于创新", "workAddr": "北京-海淀区-五道口王庄路1号清华同方科技广场综合楼B座27-28楼", "origin": "拉钩网"} {"positionName": "数据集成工程师/软件开发工...", "companyName": "宝石花医疗信息公司信息公司招聘", "companySize": "50-150人", "industryField": "医疗丨健康,人工智能", "financeStage": "不需要融资", "companyLink": "http://www.gfhealthcare.com/", "city": "北京", "salary": "15k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 医疗集团、国企控股、平台规模大、项目稳定", "jobDetail": "岗位职责:\n1.参与集团数据集成平台项目需求沟通及平台架构的整体规划设计\n2.负责搭建平台的研发构架并协助完成平台核心功能开发\n3.负责数据平台数据库的管理及优化\n4.参与平台建设过程中的数据集成、数据存储、数据清洗、数据挖掘、数据展现功能实现\n \n \n任职要求:\n1.计算机或相关专业本科以上学历,熟悉目前市场主流医院信息系统及其数据结构，有2年以上医疗大数据集成及平台开发相关经验\n2.熟练使用Java/Python等语言进行开发（至少熟练掌握一种），有高效、高可靠代码开发经验\n3. 熟悉主流的ETL工具，如DataPipeline，Kettle，Talend或 Datax等。\n4.精通主流数据（如Oracle、MySQL、PostgreSQL等）\n5.有较强的学习能力和问题解决能力，良好沟通能力团队协作能力。", "workAddr": "北京-东城区-东四-南新仓商务大厦A座1702", "origin": "拉钩网"} {"positionName": "金融大数据工程师", "companyName": "泽泰征信招聘", "companySize": "15-50人", "industryField": "企业服务,数据服务", "financeStage": "A轮", "companyLink": "www.zitacr.com", "city": "北京", "salary": "15k-30k", "workYear": "经验3-5年", "education": "学历不限", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 技术大牛", "jobDetail": "岗位职责：\n1、负责金融业务数据的接入、清洗、转换、统计、多维分析和展现；\n2、把数据挖掘，机器学习等算法运用在金融大数据上。\n任职资格：\n1、本科或以上，计算机软件或相关专业毕业；\n2、扎实的编程能力，熟悉算法和数据结构，熟悉计算机的基础理论；\n3、熟练使用Java，熟悉SQL，熟悉Python或Scala；\n4、熟悉大数据处理相关技术，包括但不限于Hadoop、Hive、Hbase、Impala、Spark、Kafka、Flume、Sqoop、Storm等；\n5、熟悉推荐系统和数据挖掘算法者优先。", "workAddr": "北京-朝阳区-望京-望京SOHO", "origin": "拉钩网"} {"positionName": "大数据研发工程师", "companyName": "安居客招聘", "companySize": "500-2000人", "industryField": "移动互联网", "financeStage": "上市公司", "companyLink": "http://www.anjuke.com", "city": "北京", "salary": "20k-40k", "workYear": "经验1-3年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 绩效奖金 弹性工时 免费班车 综合补助", "jobDetail": "岗位描述：\n负责58核心业务平台的大数据建设维护工作： 1. 负责58核心业务数仓的建设，完善元数据管理、数据质量保障等子系统；\n2. 充分理解业务需求，设计合理的系统方案，完成各种面向业务目标的包括数据模型、数据分布、数据传输、数据加工、数据存储、数据应用等数据集市架构工作；\n3. 完成数据处理关键技术的攻关，主导数据模型核心代码的设计和开发；\n4. 统一业务维度，为上层复杂BI应用提供一致且有弹性的维度服务；\n岗位要求：\n1. 2年以上大数据开发经验，对不同应用场景下的数据建模有自己的经验和理解；\n2. 良好的大数据开发能力，对Hadoop、Hive的工作机制深入了解，熟练运用hadoop/spark平台，对storm/spark streaming/Flink等实时流技术有实践经验，灵活使用hbase、redis等常用存储介质；\n3. 逻辑思维强，能够梳理复杂、模糊的业务问题，有数据分析的相关经验尤佳；\n4. 具有较好的数据思维，从数据中发现问题并能运用数据解决问题；\n5. 良好的团队合作和沟通能力，责任心强。\n我们能提供：\n1. 精细化数据驱动和数据运营带来的丰富场景，驱动技术持续成长；\n2. 良好的工作自由度，鼓励工程师主动分析业务，探索技术业务结合路径，持续提升综合能力；\n3. 业内有竞争力的薪酬福利，激励机制和长期的培养机制；", "workAddr": "北京-朝阳区-大山子-北京酒仙桥北路甲10号院105号楼", "origin": "拉钩网"} {"positionName": "大数据架构师", "companyName": "用友招聘", "companySize": "2000人以上", "industryField": "企业服务", "financeStage": "上市公司", "companyLink": "http://www.yonyou.com", "city": "北京", "salary": "40k-60k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 精英团队,团队大牛多,知识分享,福利待遇", "jobDetail": "岗位职责:1、负责基于Hadoop/Spark等生态系统的大数据平台的架构设计、技术选型、搭建、开发、管理、监控和性能调优，保证集群高效稳定运行，对数据应用提供数据存储、查询引擎、实时计算、元数据管理的架构设计；2、系统核心部分代码编写、指导和培训工程师、不断进行系统优化；3、跨团队/部门协作，系统分析并解决各类大数据平台相关的运行或数据问题；4、打造有行业竞争力的系统，能够支撑快速发展的数据业务。\n任职资格:岗位要求：1、统考全日制，本科及以上学历，5年以上的大数据从业经验。2、有大型分布式系统设计经验，负责过海量数据平台上高可用、高性能分式系统的架构设计。3、精通任意一门编程语言，对大数据基础架构和平台底层原理有深度理解和丰富开发经验, 对复杂系统的性能优化和稳定性提升有一线实战经验，具备相关产品（Hadoop、Hive、HBase、Kafka、MapReduce、Spark等）项目应用研发经验；对开源社区有贡献者优先；4、熟悉Greenplum、TiDB数据库技术有实际生产项目应用经验者优先； 5、具有一定的项目规划和决策能力，善于捕捉业务需求、架构设计存在的问题，并给出有效的解决措施和方法；", "workAddr": "北京-海淀区-北京市海淀区北清路用友产业园", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "轻松集团技术中心招聘", "companySize": "500-2000人", "industryField": "移动互联网,金融", "financeStage": "C轮", "companyLink": "http://www.qschou.com", "city": "北京", "salary": "25k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 技术大咖,扁平管理,交通便利,绩效奖金", "jobDetail": "职位描述：1、负责流计算平台的开发与优化工作2、负责流式计算平台开发结合业务的应用、处理实时数据、实时应用场景的开发3、负责实时计算系统的运维，保证系统的高可用性和稳定性4、负责设计，开发，优化数据接入、数据存储、数据计算服务框架5、负责对业务的数据接口开发6、负责优化分布式框架，解决大并发下的各种问题\n任职要求：1、3年以上相关工作经验，本科或以上学历；2、具备扎实的Java语言基础;3、熟悉并行计算或者分布式计算原理，熟悉高并发、高稳定性、可线性扩展、海量数据的系统特点和技术方案；4、有Spark/Storm等数据平台的开发和使用经验；5、对性能调优，算法效率和分布式计算的资源管理策略有较深的理解；6、熟悉Spring、Spring MVC、ibatis等使用框架，深入原理者优先；7、熟悉ZooKeeper/kafka/Hadoop/HBase/Flume/Redis等平台者优先；8、具备良好的沟通能力和自我学习能力。", "workAddr": "北京-东城区-和平里-歌华大厦B座10层1021", "origin": "拉钩网"} {"positionName": "大数据岗位", "companyName": "航天爱锐招聘", "companySize": "150-500人", "industryField": "不限", "financeStage": "不需要融资", "companyLink": "https://www.lagou.com/gon...", "city": "北京", "salary": "30k-50k", "workYear": "经验3-5年", "education": "学历不限", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 3-5万/月", "jobDetail": "工作地点\n北京、西安\n一、岗位职责\n1、负责面向各业务线条,与业务部门沟通,分析处理业务相关数据;\n2、负责专项数据的业务逻辑分析和数据挖掘,充分理解挖掘用户需求,负责构建数据挖掘模型;\n3、负责大数据应用、数据采集加工、数据分析等领域的开发工作;\n4、参与大数据应用项目的建设,包括项目开发及项目管理等工作;\n5、跟踪大数据领域的技术应用趋势,进行技术分享,加强大数据应用能力。\n二、任职要求\n1、计算机相关专业本科及以上学历；\n2、3年及以上ETL开发或分析经验，至少有1年大数据开发或分析经验（不含实习时间）；\n3、精通python、shell、java等中的1种以上 ；\n4、熟悉主流数据库（Oracle、DB2、Mysql、Sql Server）中的1种及以上，精通SQL、存储过程，有较好的SQL性能调优经验；\n5、参加过一个完整的数据仓库类项目的ETL开发；\n6、熟悉Hadoop、HDFS，MapReduce，Hive等开源分布式系统；\n7、具有良好的逻辑思维能力，善于学习，与团队沟通无障碍；有数据仓库ETL经验、宙斯（Zeus）使用经验优先；\n8、有互联网数据ETL经验优先；\n9、有持续学习的能力，喜欢开源软件，乐于知识分享，对工作认真负责，可以独立承担较大工作压力。", "workAddr": "北京-大兴区-亦庄-锦绣街6号", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "奇虎360金融招聘", "companySize": "500-2000人", "industryField": "金融", "financeStage": "上市公司", "companyLink": "http://jinrong.360.cn/", "city": "北京", "salary": "30k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 上市公司，免费三餐，0-9个月年终奖", "jobDetail": "职责描述：1.根据360金融业务和集团的海量数据，为风控、BI提供数据支持；2.对数据处理的需求场景进行抽象，形成自动化工具，提升工作效率；3.基于日常的需求场景，构建安全、高效、稳定的大数据平台，为业务提供更有效的数据支撑。任职要求：1.属性Linux操作系统，熟悉Shell编程语言；2.大数据处理经验丰富，熟悉hadoopmap/reduce编程；有Hbase、Spark、Storm的应用开发经验；3.熟悉其它分布式存储相关技术，包括HDFS，Hive、Redis、mongodb、Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等。具有以下经验者优先考虑：1.具有海量数据调优、数据倾斜调优经验者优先考虑；2.有大数据平台开发经验者优先考虑；3.具有SQL优化经验优先考虑；4.熟悉REDIS使用的优先考虑。", "workAddr": "北京-朝阳区-酒仙桥-北京市朝阳区酒仙桥路6号院（电子城•国际电子总部）2号楼B座", "origin": "拉钩网"} {"positionName": "腾讯广告大数据开发工程师（...", "companyName": "腾讯招聘", "companySize": "2000人以上", "industryField": "社交", "financeStage": "上市公司", "companyLink": "http://hr.tencent.com", "city": "北京", "salary": "25k-35k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大平台；发展前景；福利待遇", "jobDetail": "岗位职责：\n1、负责广告在线预估服务的架构设计和开发，支持高并发，高可用，低延迟； \n2、负责广告平台用户画像线上系统的开发和维护； \n3、负责高可用的任务调度系统开发，支持各种离线任务的分发和调度。\n\n岗位要求：\n1、大学本科以上学历，计算机相关专业； \n2、两年以上相关工作经验，精通算法与数据结构，精通c++编程语言； \n3、有扎实的编程功底和编码习惯，以及良好的分析解决问题能力； \n4、熟悉机器学习框架和分布式系统，熟悉tensorflow等机器学习框架者优先； \n5、积极主动，有责任心，勇于接受挑战。", "workAddr": "北京-海淀区-中关村-银科大厦", "origin": "拉钩网"} {"positionName": "大数据架构师/研发经理", "companyName": "马上金融大数据平台部（二级）招聘", "companySize": "2000人以上", "industryField": "金融,移动互联网", "financeStage": "不需要融资", "companyLink": "http://www.msxf.com", "city": "北京", "salary": "20k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金 丰厚年终奖 持牌金融公司", "jobDetail": "职责描述：\n1、负责公司的大数据处理平台框架的设计及研发工作；\n2、负责设计、构建和优化基于hadoop/Hbase的存储平台架构；\n3、负责整体提升hadoop/Hbase集群的高可用性、高性能、高扩展特性；\n4、根据业务需求，提出最优的技术解决方案；分解详细的开发任务，能配合其他项目制定开发计划、开发文档、开发流程图；\n5、负责带领项目及培训团队，指导技术团队完成数据规则的定义、数据模型的建立、数据清洗、数据迁移等工作。\n6、负责数据架构的规划，并制定实施标准和规范，确保得到有效的执行，同时保障数据以及文档的质量达到预定的标准；\n7、培养中高级技术人才、制定相关培训计划\n任职要求：\n1、学历要求:统招本科及以上学历，计算机以及相关专业，\n2、经验要求:具有6年以上软件开发经验、有3年以上Hadoop相关开发经验\n3、技能要求:\n（1）具备数据库系统基本理论知识，至少掌握一种主流商业数据库产品如Oralce的管理和应用，精通SQL语言，精通存储过程\n（2）具备数据管理和存储相关项目和系统的开发经验，具有丰富的数据分析、挖掘和数据仓库建模的项目实践经验\n（3）对基于hadoop的大数据处理体系有深入认识，具备相关产品（hadoop/storm /hive/hbase）项目应用研发经验，熟悉分布式系统、分布式、高并发计算系统的工作机制，能熟练掌握相关核心技术的工作机理；具有大规模数据平台，高并发大型系统，大数据等架构设计和开发经验；\n4、通用要求：\n（1）有较强的学习能力和技术钻研能力、有自我驱动意识\n（2）具备独立分析和解决问题的能力；积极主动、认真踏实的工作态度\n（3）有良好的沟通能力，善于跨团队合作", "workAddr": "北京-朝阳区-望京-金辉大厦", "origin": "拉钩网"} {"positionName": "金融大数据工程师", "companyName": "泽泰征信招聘", "companySize": "15-50人", "industryField": "企业服务,数据服务", "financeStage": "A轮", "companyLink": "www.zitacr.com", "city": "北京", "salary": "15k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "兼职", "positionAdvantage": "职位诱惑：\n 技术大牛", "jobDetail": "岗位职责：\n1、负责金融业务数据的接入、清洗、转换、统计、多维分析和展现；\n2、把数据挖掘，机器学习等算法运用在金融大数据上。\n任职资格：\n1、本科或以上，计算机软件或相关专业毕业；\n2、扎实的编程能力，熟悉算法和数据结构，熟悉计算机的基础理论；\n3、熟练使用Java，熟悉SQL，熟悉Python或Scala；\n4、熟悉大数据处理相关技术，包括但不限于Hadoop、Hive、Hbase、Impala、Spark、Kafka、Flume、Sqoop、Storm等；\n5、熟悉推荐系统和数据挖掘算法者优先。", "workAddr": "北京-朝阳区-望京-望京SOHO", "origin": "拉钩网"} {"positionName": "大数据架构师", "companyName": "用友招聘", "companySize": "2000人以上", "industryField": "企业服务", "financeStage": "上市公司", "companyLink": "http://www.yonyou.com", "city": "北京", "salary": "30k-60k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 精英团队,团队大牛多,知识分享,福利待遇", "jobDetail": "岗位优势：\n1、公司TOB端海量的数据\n2、向AI方向成长\n3、未来独立带团队的机会\n\n岗位职责：1、负责基于Hadoop/Spark等生态系统的大数据平台的架构设计、技术选型、搭建、开发、管理、监控和性能调优，保证集群高效稳定运行，对数据应用提供数据存储、查询引擎、实时计算、元数据管理的架构设计；2、系统核心部分代码编写、指导和培训工程师、不断进行系统优化；3、跨团队/部门协作，系统分析并解决各类大数据平台相关的运行或数据问题；4、打造有行业竞争力的系统，能够支撑快速发展的数据业务。\n\n岗位要求：1、本科及以上学历，5年以上的大数据从业经验。2、有大型分布式系统设计经验，负责过海量数据平台上高可用、高性能分式系统的架构设计。3、精通任意一门编程语言，对大数据基础架构和平台底层原理有深度理解和丰富开发经验, 对复杂系统的性能优化和稳定性提升有一线实战经验，具备相关产品（Hadoop、Hive、HBase、Kafka、MapReduce、Spark等）项目应用研发经验；对开源社区有贡献者优先；4、熟悉Greenplum、TiDB数据库技术有实际生产项目应用经验者优先； 5、具有一定的项目规划和决策能力，善于捕捉业务需求、架构设计存在的问题，并给出有效的解决措施和方法；\"", "workAddr": "北京-海淀区-北京市海淀区北清路用友产业园", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "奇虎360金融招聘", "companySize": "500-2000人", "industryField": "金融", "financeStage": "上市公司", "companyLink": "http://jinrong.360.cn/", "city": "北京", "salary": "30k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 上市公司，免费三餐，0-9个月年终奖", "jobDetail": "职责描述：1.根据360金融业务和集团的海量数据，为风控、BI提供数据支持；2.对数据处理的需求场景进行抽象，形成自动化工具，提升工作效率；3.基于日常的需求场景，构建安全、高效、稳定的大数据平台，为业务提供更有效的数据支撑。任职要求：1.属性Linux操作系统，熟悉Shell编程语言；2.大数据处理经验丰富，熟悉hadoopmap/reduce编程；有Hbase、Spark、Storm的应用开发经验；3.熟悉其它分布式存储相关技术，包括HDFS，Hive、Redis、mongodb、Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等。具有以下经验者优先考虑：1.具有海量数据调优、数据倾斜调优经验者优先考虑；2.有大数据平台开发经验者优先考虑；3.具有SQL优化经验优先考虑；4.熟悉REDIS使用的优先考虑。", "workAddr": "北京-朝阳区-酒仙桥-北京市朝阳区酒仙桥路6号院（电子城•国际电子总部）2号楼B座", "origin": "拉钩网"} {"positionName": "大数据应用系统架构师", "companyName": "360城市安全招聘", "companySize": "2000人以上", "industryField": "信息安全", "financeStage": "上市公司", "companyLink": "http://www.360.cn", "city": "北京", "salary": "35k-45k", "workYear": "经验5-10年", "education": "硕士及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 平台广阔", "jobDetail": "岗位描述：\n1、负责大数据应用系统的架构设计工作，包括数据库、消息中间件、大数据存储、数据分析等方面的设计以及技术选型；\n2、支持服务化能力平台的设计工作，支持容器化平台建设（基于K8S），建设服务编排可视化系统；\n3、熟悉微服务治理，对微服务治理有深入理解，能够从架构层面以及应用层面讲清楚微服务；\n4、支持无服务函数计算服务的应用，以及集群部署工作；\n5、负责部分系统的数据库设计工作以及性能优化工作；\n6、了解大数据架构，对hadoop,spark,flink，yarn等大数据引擎底层原理有深入理解。\n\n任职要求：\n1、计算机、数学专业，硕士或以上学历,工作5年以上；\n2、精通K8S，对K8S使用有深入了解，能够编写K8S服务部署脚本；\n3、熟悉函数计算，对主流的开源函数计算框架有深入了解，如openFaas等；\n4、对微服务架构有深入了解，了解ServiceMesh，ServerLess等；\n5、精通数据库设计，对mysql,gbase等深入理解，对数据库索引，分库，分表等优化数据库方案有很深经验。", "workAddr": "北京-朝阳区-酒仙桥-酒仙桥路6号院（电子城•国际电子总部）", "origin": "拉钩网"} {"positionName": "大数据运维工程师(J10921)", "companyName": "销售易招聘", "companySize": "500-2000人", "industryField": "移动互联网,数据服务", "financeStage": "D轮及以上", "companyLink": "http://www.xiaoshouyi.com", "city": "北京", "salary": "15k-25k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 技术大牛、团队氛围好、地铁周边", "jobDetail": "工作职责:\n1、负责公司大数据集群的运维工作（Kafka/Hadoop/HBase/Spark/Flink/Clickhouse等）；\n2、负责集群性能优化，扩容\n3、负责hadoop集群的监控、数据备份、数据监控、报警、故障处理；\n研究运维相关技术，根据系统需求制定运维技术方案，开发自动化运维工具和运维辅助系统；\n4、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向；\n\n\n\n任职要求：\n1、有2年以上大数据集群运维经验；\n2、有实际部署经验，并能够独立排查及解决问题。熟悉hadoop在运行环境，任务调度，参数配置等方面的调优；\n3、精通Python、Shell、Java中任一语言，熟悉linux开发环境以及相应的配置、管理及优化；\n4、熟悉Hadoop生态圈，包含但不限于Hbase/Hadoop/Zookeeper/Spark/Kafka等，能够独立部署并上线运行；\n5、有流数据处理运维经验，ETL pipeline处理经验者优先考虑；\n有Flink/Clickhouse运维经验的候选人优先；\n6、有一定开发经验，能协助大数据环境下的性能问题定位和优化的候选人优先；\n7、有在线实时获取、传输、计算、反馈相关系统部署经验；\n有创新精神和团队意识，可以将想法转化成行动。\n熟悉Docker；\n8、计算机及相关专业本科及以上学历，三年以上相关工作经验；\n\n优先条件：\n熟悉云计算相关技术，有2年腾讯云、阿里云或AWS使用经验，有AWS认证为佳；\n有Java开发背景最佳；", "workAddr": "北京-朝阳区-东大桥-北京市朝阳区朝阳北路237号复星国际中心21层", "origin": "拉钩网"} {"positionName": "大数据运维工程师", "companyName": "聚云数字招聘", "companySize": "50-150人", "industryField": "广告营销", "financeStage": "未融资", "companyLink": "https://www.lagou.com/gon...", "city": "北京", "salary": "15k-25k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 弹性工作、五险一金、免费午餐、加班补助", "jobDetail": "岗位职责：\n1、负责公司大数据平台的部署、管理、优化、监控报警，保障平台服务7*24稳定可靠高效运行；\n2、深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长；\n3、开发大数据自动化运维、监控报警、故障处理相关脚本和工具；\n4、负责Hadoop/spark／Kafka /Flink等集群服务、业务监控、持续交付、应急响应、容量规划等。\n5、负责大数据各个组件上线流程。\n任职要求：\n1、3年以上互联网运维相关工作经验，2年以上大数据平台运维相关工作经验；\n2、具备一定的故障排查能力，有良好的技术敏感度和风险识别能力，精通一门以上脚本语言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等协议；\n3、熟悉Linux(redhat/centos)软硬件环境、系统管理和优化，熟练部署、优化各种常用服务。熟练使用Linux 命令和常用的ssh、ftp、git、maven等开发工具；\n4、熟悉Hadoop大数据生态圈，包括但不限于HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Kudu/Flink等；\n5、熟悉Hadoop各组件的原理和实现，有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力，运维管理过大规模数据平台；\n6、熟悉掌握常用的安全协议和组件服务，对hadoop各组件的权限、安全、kerberos进行配置管理。熟悉SSL、ACL、kerberos等在大数据环境场景的使用；\n7、熟悉常用运维监控工具（nagios/ganglia/zabbix/grafan/openfalcon等）和相关插件的开发。比如邮件、短信、微信报警插件等；\n8、熟悉常用nginx／haproxy/varnish/netscaler等代理工具的使用和优化；\n9、具备良好的服务意识，善于主动思考，自我驱动力强。有良好的沟通、协调能力，富有团队精神，有较强的文档编写能力；\n10、运维过 CDH、HDP集群", "workAddr": "北京-朝阳区-酒仙桥-文心华策国际影视交流中心A1座南翼三层", "origin": "拉钩网"} {"positionName": "大数据应用开发工程师", "companyName": "赢时胜软件数据中台招聘", "companySize": "500-2000人", "industryField": "金融", "financeStage": "上市公司", "companyLink": "http://www.ysstech.com", "city": "北京", "salary": "20k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 优秀团队 办公环境优越 交通便利", "jobDetail": "岗位职责：1、基于大数据平台的应用系统设计、开发、维护；2、承担公司大数据相关项目的需求分析、开发、实施、现场支持。任职资格：1、计算机或相关专业本科及以上学历；2、3年以上相关工作经验，至少熟练掌握Java，Scala，Python中的一种或多种；3、熟练使用Hadoop、Spark、Storm、SparkStreaming、Hive、HBase进行应用开发；4、熟悉搜索引擎，例如Impala，Presto，Elasticsearch等；5、具备基本的Hadoop运行环境的运维管理经验；6、有实际的大数据应用工程开发经验；7、熟悉金融领域相关知识或有金融系统开发经验的优先。", "workAddr": "北京-朝阳区-十里堡-青年路达美中心16层", "origin": "拉钩网"} {"positionName": "Java高级开发工程师/专家-...", "companyName": "阿里巴巴-高德招聘", "companySize": "2000人以上", "industryField": "工具", "financeStage": "上市公司", "companyLink": "http://ditu.amap.com/", "city": "北京", "salary": "25k-45k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 优厚的福利待遇，大平台，发展前景广阔", "jobDetail": "职位描述 1. 负责高德金融风控相关引擎开发 2. 持续优化系统架构设计，提出问题解决方案 职位要求 1、3年及以上Java开发经验，熟悉基本的数据结构、面向对象设计，熟悉Java网络编程、多线程编程，对JVM原理有扎实的理解； 2、熟练掌握SpringMVC（SpringBoot）、MyBatis等主流的开发框架，并有深入了解和实践经验； 3、熟悉分布式计算和存储，消息队列和流式计算，掌握容器相关的基本知识； 4、有大数据处理经验，熟练使用mysql、hbase、mongodb、redis等各类存储的常用方法，并能给出合适的存储解决方案； 5、熟练使用Linux环境，能进行shell编程，及对Python有一定的基础； 6、熟悉软件技术文档的编写，具备良好的文档编制习惯和代码书写规范； 7、思路清晰，有良好的需求理解、分析、抽象能力和系统设计能力； 8、较强的沟通表达能力；工作主动积极、认真严谨，对系统质量有近乎苛刻的要求意识； 9、有机器学习模型线上部署运维经验者优先", "workAddr": "北京-朝阳区-望京-首开广场", "origin": "拉钩网"} {"positionName": "数据开发实习生", "companyName": "NIO蔚来智能汽车部招聘", "companySize": "2000人以上", "industryField": "移动互联网,硬件", "financeStage": "上市公司", "companyLink": "http://www.nio.com", "city": "北京", "salary": "5k-6k", "workYear": "经验应届毕业生", "education": "硕士及以上", "jobNature": "实习", "positionAdvantage": "职位诱惑：\n 成熟平台 福利好 上升期", "jobDetail": "岗位职责：\n1、参与蔚来汽车电池相关数据的处理，在分布式计算平台基础上建立高效、实时的数据 pipeline；\n2、参与检索系统/推荐系统的数据分析，发现模式与规律，为实验解释、系统改进提供数据支持；\n3、参与Hadoop，Spark 等大数据基础设施和平台的改进，解决大规模生产环境集群可用性和性能化问题；\n岗位描述：\n1、本科及以上学历，计算机相关专业，每周可实习4天以上，持续3个月以上；\n2、热爱计算机科学和互联网技术，优秀的编码能力，乐于快速学习和尝试新技术、新工具；\n3、对数据敏感，掌握量化分析方法，善于从数据中发现问题，提出假设并使用数据进行验证；\n4、对至少一项分布式计算平台有使用经验，例如 Hadoop，Spark，Hive，Storm，Kafka 等；\n5、有参与开源项目对社区有贡献的经历，有互联网公司实习经历，有大数据处理或用户行为数据分析经验者优先；\n6、有机器学习算法经验者优先。", "workAddr": "北京-朝阳区-广营西路5号院诚盈中心1号楼14层", "origin": "拉钩网"} {"positionName": "大数据挖掘与分析", "companyName": "微博微博产品部招聘", "companySize": "2000人以上", "industryField": "文娱丨内容", "financeStage": "上市公司", "companyLink": "http://weibo.com", "city": "北京", "salary": "30k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大平台 成长空间 福利完善", "jobDetail": "岗位职责: 1. 快速结合视频推荐业务进行多维度指标拆解和分析，帮助业务发现和定位问题\n2. 能结合视频推荐业务的发展方向设计统计挖掘方法，涉及优质视频的挖掘，用户画像的构建等 任职资格: 1. 本科及以上学历，计算机或者数理统计专业毕业；\n2. 1年以上互联网行业经验，能熟练运用hiveSQL，熟悉ETL流程，熟练使用python/shell，具有大数据计算平台mr/spark应用经验；\n3.有一定的机器学习的经验，熟悉常用分类算法，聚类算法，对深度学习有一定了解\n4 逻辑思维清晰，有良好的数据敏感度和商业sense，能从数据角度提取出核心的业务结论及运营策略；\n5. 有良好的沟通理解能力和跨团队协作能力及精神，可以从数据角度驱动业务发展。\n加分项：\n1.有推荐/搜索/计算广告相关背景经验的人优先录用\n2.有成功将多种统计方法或机器学习算法应用与上述相关领域的项目经验", "workAddr": "北京-海淀区-西北旺东路10号院西区8号楼新浪总部大厦", "origin": "拉钩网"} {"positionName": "大数据平台架构师", "companyName": "金山云政企事业群招聘", "companySize": "2000人以上", "industryField": "移动互联网,数据服务", "financeStage": "D轮及以上", "companyLink": "http://www.ksyun.com", "city": "北京", "salary": "20k-40k", "workYear": "经验5-10年", "education": "学历不限", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 三餐，七险一金，大平台", "jobDetail": "工作职责：\n1.理解业务分析需求，设计和开发对应的元数据模型/数据资产/数据治理工作，完成结构层次合理、灵活、可扩展的数据管理架构；\n2.开发数据生产、分析工具，不断提高数据使用效率； \n3.负责数据仓库、数据中台和数据湖产品业务分析、设计、开发和维护； \n4.负责指导初中级开发人员工作。\n\n岗位要求：\n1.计算机相关专业本科及以上学历，5年以上互联网数据开发工作经验； \n2.具有扎实的计算机科学功底，扎实的Java编程基础和数据结构算法基础，熟悉Scale和python开发经验优先；\n3.精通数据仓库架构及原理，具备数据资产、数据治理、元数据模型设计和处理性能调优等相关经验； \n4.有大数据分布式计算平台开发经验,熟悉Hadoop, Hive，Storm，Spark等大数据框架原理及应用； \n5.善于交流，有良好的团队合作精神和协调沟通能力，有与产品、业务等多方密切配合的经验和意识。", "workAddr": "北京-海淀区-上-小营西路33号金山软件大厦", "origin": "拉钩网"} {"positionName": "数据开发工程师", "companyName": "火花思维招聘", "companySize": "2000人以上", "industryField": "移动互联网,教育", "financeStage": "D轮及以上", "companyLink": "https://www.huohua.cn/", "city": "北京", "salary": "17k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 七险一金", "jobDetail": "职位描述：工作内容： 1.为业务部门、运营部门提供数据处理支持 ；2.Review及评估数据库表设计的合理性 ；3.负责公司的数据清洗、加工、处理入库等工作 ；4.大数据系统建设及开发 。\n岗位要求： 1.计算机，数学、统计学等专业，本科及以上学历，数据相关工作经验3年以上； 2.熟练使用mysql数据库，精通SQL语句，有丰富的ETL经验；能够快速根据数据的状况决定采用技术、保证数据入库的正确性 3.熟悉shell及python脚本语言，能够快速高效的使用脚本完成简单的数据处理任务； 4.熟悉java开发语言，能够基于java完成map/reduce等功能开发 5.对常用机器学习算法熟悉，能够基于场景完成相应相应算法的开发和实现 6.对数据敏感，能够从数据中寻找到规律，同时能够保障数据输出的正确性和完备性 7.具备大数据处理经验、自然语言处理、机器学习等背景者优先；", "workAddr": "北京-朝阳区-启明国际大厦B座", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "一览群智招聘", "companySize": "150-500人", "industryField": "移动互联网", "financeStage": "A轮", "companyLink": "http://www.elensdata.com/", "city": "北京", "salary": "15k-25k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 前景广阔，团队不错", "jobDetail": "1. 负责大数据平台规划、部署、优化和维护，保证平台稳定可靠高效运行、熟练掌握并使用cdh、hdp、华为云等大数据管理平台2. 熟练掌握hadoop、hive、hbase、spark、kafka、es、oozie、azkaban、flink等分布式组件的工作原理及应用场景，能够独立应用相关组件独立开发项目3. 深入理解大数据平台架构以及适用场景，有较强的自主分析解决问题的能力4. 熟练使用java、python、scala、shell等开发语言5. 深入理解mysql、oracle任一数据库存储原理、有较强的sql能力6. 熟悉linux环境，有过服务器运维经验者优先7. 从事过spark mlib、spark graphx、neo4j、tigergraph、kudu、impala、Phoenix、tez相关项目开发者优先8. 有过真实日增TB级数据量项目开发经验者优先9. 有过两年以上后端开发经验者优先", "workAddr": "北京-海淀区-中关村-互联网金融中心25层", "origin": "拉钩网"} {"positionName": "PCG增长大数据工程师（北京）", "companyName": "腾讯招聘", "companySize": "2000人以上", "industryField": "社交", "financeStage": "上市公司", "companyLink": "http://hr.tencent.com", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 平台发展", "jobDetail": "工作年限： 2年以上所属产品或服务： 腾讯视频岗位职责： 负责用户增长方向的离线和实时数据仓库体系建设工作，提升数据分析工作的效率； 结合内外部数据，构建完整的用户生命周期行为数据体系； 构 建的支持用户增长的数据分析产品，支持快速的深度分析海量AB测试实验结果； 深度分析用户行为、行业情况和AB测试数据，利用数据挖掘算法对多维数据进行关联分析。岗位要求： 本科及以上学历，计算机、统计、数学、通信等理工类相关专业； 熟悉数据仓库理论和技术体系，熟练掌握SQL/Hive/MapReduce/Spark/Flink等大规模数据处理技术； 至少精通（python/Java/scala/C++/R）一门编程语言，熟练运用各种常用算法和数据结构 ； 有分布式计算、分布式存储、数据挖掘经验者优先，有开发设计用户画像方面经验者优先； 熟悉实时计算框架和相关处理技术者优先； 熟悉Growth Hacking，或对此方向有兴趣者优先", "workAddr": "北京-海淀区-五道口-希格玛大厦", "origin": "拉钩网"} {"positionName": "大数据平台架构师", "companyName": "金山云政企事业群招聘", "companySize": "2000人以上", "industryField": "移动互联网,数据服务", "financeStage": "D轮及以上", "companyLink": "http://www.ksyun.com", "city": "北京", "salary": "20k-40k", "workYear": "经验5-10年", "education": "学历不限", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 三餐，七险一金，大平台", "jobDetail": "工作职责：\n1.理解业务分析需求，设计和开发对应的元数据模型/数据资产/数据治理工作，完成结构层次合理、灵活、可扩展的数据管理架构；\n2.开发数据生产、分析工具，不断提高数据使用效率； \n3.负责数据仓库、数据中台和数据湖产品业务分析、设计、开发和维护； \n4.负责指导初中级开发人员工作。\n\n岗位要求：\n1.计算机相关专业本科及以上学历，5年以上互联网数据开发工作经验； \n2.具有扎实的计算机科学功底，扎实的Java编程基础和数据结构算法基础，熟悉Scale和python开发经验优先；\n3.精通数据仓库架构及原理，具备数据资产、数据治理、元数据模型设计和处理性能调优等相关经验； \n4.有大数据分布式计算平台开发经验,熟悉Hadoop, Hive，Storm，Spark等大数据框架原理及应用； \n5.善于交流，有良好的团队合作精神和协调沟通能力，有与产品、业务等多方密切配合的经验和意识。", "workAddr": "北京-海淀区-上-小营西路33号金山软件大厦", "origin": "拉钩网"} {"positionName": "数据开发工程师", "companyName": "火花思维招聘", "companySize": "2000人以上", "industryField": "移动互联网,教育", "financeStage": "D轮及以上", "companyLink": "https://www.huohua.cn/", "city": "北京", "salary": "17k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 七险一金", "jobDetail": "职位描述：工作内容： 1.为业务部门、运营部门提供数据处理支持 ；2.Review及评估数据库表设计的合理性 ；3.负责公司的数据清洗、加工、处理入库等工作 ；4.大数据系统建设及开发 。\n岗位要求： 1.计算机，数学、统计学等专业，本科及以上学历，数据相关工作经验3年以上； 2.熟练使用mysql数据库，精通SQL语句，有丰富的ETL经验；能够快速根据数据的状况决定采用技术、保证数据入库的正确性 3.熟悉shell及python脚本语言，能够快速高效的使用脚本完成简单的数据处理任务； 4.熟悉java开发语言，能够基于java完成map/reduce等功能开发 5.对常用机器学习算法熟悉，能够基于场景完成相应相应算法的开发和实现 6.对数据敏感，能够从数据中寻找到规律，同时能够保障数据输出的正确性和完备性 7.具备大数据处理经验、自然语言处理、机器学习等背景者优先；", "workAddr": "北京-朝阳区-启明国际大厦B座", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "一览群智招聘", "companySize": "150-500人", "industryField": "移动互联网", "financeStage": "A轮", "companyLink": "http://www.elensdata.com/", "city": "北京", "salary": "15k-25k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 前景广阔，团队不错", "jobDetail": "1. 负责大数据平台规划、部署、优化和维护，保证平台稳定可靠高效运行、熟练掌握并使用cdh、hdp、华为云等大数据管理平台2. 熟练掌握hadoop、hive、hbase、spark、kafka、es、oozie、azkaban、flink等分布式组件的工作原理及应用场景，能够独立应用相关组件独立开发项目3. 深入理解大数据平台架构以及适用场景，有较强的自主分析解决问题的能力4. 熟练使用java、python、scala、shell等开发语言5. 深入理解mysql、oracle任一数据库存储原理、有较强的sql能力6. 熟悉linux环境，有过服务器运维经验者优先7. 从事过spark mlib、spark graphx、neo4j、tigergraph、kudu、impala、Phoenix、tez相关项目开发者优先8. 有过真实日增TB级数据量项目开发经验者优先9. 有过两年以上后端开发经验者优先", "workAddr": "北京-海淀区-中关村-互联网金融中心25层", "origin": "拉钩网"} {"positionName": "大数据高级开发工程师", "companyName": "北京孔网时代科技有限公司招聘", "companySize": "50-150人", "industryField": "电商", "financeStage": "不需要融资", "companyLink": "https://www.lagou.com/gon...", "city": "北京", "salary": "25k-50k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 团队靠谱 餐饮免费、人性化工作、水果", "jobDetail": "职位描述：\n1、负责大数据平台的开发，完成关键数据报告；\n2、基于产品与业务需求，在产品端设计埋点方案、推动技术开发上线；\n3、理解产品业务逻辑，利用数据分析手段，发现产品体验问题并推动改进；\n4、负责建立用户画像及用户分层的数据。\n任职资格：\n1、计算机、数学、统计等专业，5年以上大数据相关工作经验；\n2、良好的Java基础，熟悉JVM原理，熟悉java主流框架，如：Spring，Spring mvc，mybatis等；\n3、熟悉并使用过各种大数据相关技术，如elk、Hadoop、Spark、Hive等；\n4、熟悉并使用过mysql等关系型数据库进行数据开发；\n5、熟悉埋点、插码、数据采集等工作；\n6、有从0到1的构建数据平台经验者优先；\n7、有互联网电商领域数据工作经验，熟悉电商业务者优先。", "workAddr": "北京-朝阳区-来广营-崔各庄乡何各庄328号红厂设计创意产业园A6栋", "origin": "拉钩网"} {"positionName": "大数据BI工程师", "companyName": "京东物流招聘", "companySize": "2000人以上", "industryField": "物流丨运输", "financeStage": "上市公司", "companyLink": "http://www.jdwl.com", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 免费班车、年底双薪", "jobDetail": "岗位职责： 1、负责企业级数据仓库架构设计、业务大数据模型设计和开发、维护管理工作。 2、对数据进行多维度的分析汇总，支撑公司日常业务运营，有业务和数据敏感性。 任职要求： 1、2年以上基于Hadoop平台使用hive、Python、shell进行ETL数据开发，能够使用spark进行脚本工程化，熟悉Linux常用命令。 2、能够使用PowerDesigner、ER工具数仓模型设计。 3、能够对MapReduce过程和大数据计算任务进行调优。 4、了解mysql、es等数据库表操作工作原理。 5、对数据仓库方法论有自己的理解。", "workAddr": "北京-大兴区-亦庄京东总部大厦", "origin": "拉钩网"} {"positionName": "大数据/区块链售前咨询顾问", "companyName": "彩智市场部招聘", "companySize": "15-50人", "industryField": "移动互联网,企业服务", "financeStage": "A轮", "companyLink": "http://www.czkj1010.com", "city": "北京", "salary": "13k-22k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 成长空间好，扁平管理", "jobDetail": "岗位职责：1.组织公司的招投标工作，需要熟悉招投标流程，能独立完成商务、技术等不同的内容，可以独立投标（必备条件）；2.按照售前工作要求完成对应客户、合作伙伴的大数据、区块链交流，包括产品交流、解决方案交流和业务交流等，并编制售前解决方案；3. 协助完成市场部门对大数据、区块链等领域的国家政策研究及课题项目、资质申报材料；4.协助项目交付工作，参与客户调研、需求分析、方案完善以及项目汇报等工作5. 负责领导交代的其他事项任职要求：（1）通信工程、电子信息工程、计算机科学与技术、自动化专业，本科以上学历，研究生学历优先。2年及以上政务、大数据、售前技术支持优先。（2）能熟练进行方案、技术交流、文档的编写。（3）熟悉至少一类政府机关相关知识及业务流程，熟悉大数据、机器学习、数据挖掘、数据建模、BI、知识图谱、区块链中至少一项相关技术。（4）工作认真负责、态度积极端正。强调团队协作，善于与人沟通。（5）能承受较强的工作压力，具有较强的责任心和执行力。（6）具备创新思维，能基于已有知识体系，通过短时间的学习，快速掌握陌生领域的大数据或区块链解决方案。", "workAddr": "北京-海淀区-中关村-中关村东路8号东升大厦A座4层", "origin": "拉钩网"} {"positionName": "大数据工程师", "companyName": "长亭科技招聘", "companySize": "150-500人", "industryField": "企业服务,信息安全", "financeStage": "B轮", "companyLink": "https://chaitin.cn/cn/", "city": "北京", "salary": "15k-30k", "workYear": "经验1-3年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 带薪年假,工作餐,年底多薪,五险一金", "jobDetail": "岗位职责：\n1、对数据进行结构化、标准化处理，对处理流程进行自动化搭建；\n2、通过ETL/Cube数据建模，构建基于数据仓库的分析工具；\n3、 负责大数据平台架构的整体设计，承担数据抽取、清洗、转化等数据处理程序开发\n4、参与数据与公司软件产品及第三方软件的API对接；\n5、搭建与优化，数据采集、处理、可视化流程中所需的框架与模块开发；\n6、协同内外部力量完成需求的表达与技术攻关。\n岗位要求：\n1、 全日制大学本科及以上学历，金融、计算机、自动化、通信等相关专业等相关专业者佳；\n2、熟悉数据库的设计和开发如：Oracle/MySQL/MSSQL/Redis等，有处理大量数据经验的优先；\n3、熟练使用ETL工具进行数据抽取、清洗、转换、关联等操作；\n4、熟练使用Linux操作系统，掌握Java语言，并熟悉Python语言，熟悉分布式系统架构，有Hadoop、spark系统架构经验；\n5、熟悉实时计算框架storm、flink、spark、streaming其中之一；\n6、 具有5年以上数据仓库（DW）、商务智能（BI）、大数据等方面的软件或项目开发经验；\n7、了解可视化及BI工具者优先；\n8、有网络安全相关从业背景者优先；\n9、具有良好的沟通能力和主动性，抗压能力强。", "workAddr": "北京-海淀区-五道口-林大北路768创意软件园（大华电子）D座05", "origin": "拉钩网"} {"positionName": "大数据平台研发岗", "companyName": "建信金科测试与质量控制中心招聘", "companySize": "2000人以上", "industryField": "金融,软件开发", "financeStage": "不需要融资", "companyLink": "https://www.lagou.com/gon...", "city": "北京", "salary": "20k-40k", "workYear": "经验不限", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 初创团队，福利高，发展广", "jobDetail": "岗位职责1.负责大数据平台的架构、研发和持续优化。2.负责大数据的数据管理与调度，数据采集与集成，数据挖掘与可视化，数据计算与存储，数据开发与服务等相关组件的开发。3.负责理解业务需求，进行大数据建模与大数据分析。4.负责运维大数据等大数据应用的开发。5.参与解决大数据基础架构项目中的关键架构问题和技术难题，负责项目中关键技术难点的攻关。6.参与大数据的技术咨询和技术服务。岗位要求1.2年以上大数据相关领域工作经验。2.熟悉数据仓库概念，分布式计算技术理论，具有大数据系统架构设计与开发经验。3.掌握主流大数据工具/平台技术，具备Shell、Java或Python编程能力，至少具备Hadoop相关工具（Spark，Hadoop，Hive，Flume，Hbase，kafka，Flink等）、MPP数据库、Elasticsearch、图数据库、时序数据库中的2种以上大数据产品开发能力。4.具有海量数据处理、数据挖掘、数据分析等相关项目的工作经验者优先。其他要求1.具有全日制大学本科（含）以上学历及相应学位，年龄35周岁以下。2.有较强的动手能力和学习能力，具备实际问题解决能力。3.具有较强的风险意识，良好的协调、沟通与团队协作能力，能够适应压力环境中工作。\n4.薪酬根据工作能力协商确定，上不封顶。", "workAddr": "北京-丰台区-西罗园-北京市丰台区南三环西路10号建行运营数据中心", "origin": "拉钩网"} {"positionName": "大数据/数据库-产品经理", "companyName": "柏睿数据产品部招聘", "companySize": "50-150人", "industryField": "数据服务,信息安全", "financeStage": "B轮", "companyLink": "http://www.boraydata.cn", "city": "北京", "salary": "20k-35k", "workYear": "经验1-3年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大数据 多绩效 BI 数据仓储", "jobDetail": "岗位描述：\n1、负责柏睿数据产品规划设计、产品文档编写工作，推动产品实现、发布与迭代；\n2、通过与销售、技术支持等部门之间的沟通，及时挖掘和收集用户的需求，并按照优先级推进产品进度；\n3、与技术、市场等部门进行明确有效的需求沟通，推动产品上线以及产品功能测试；\n4、负责市场调研、国内外竞品跟踪，通过积极展开竞品分析，提出更好的功能点；\n5、负责开发者社区的维护、运营等工作。\n \n岗位要求：\n1、计算机、软件工程等相关专业本科以上学历；\n2、拥有大数据、BI、数据库领域2年及以上的研发经验，至少拥有3年以上产品设计经验；\n3、文档写作能力优秀，具有较强的逻辑思维和沟通能力；\n4、熟悉各类数据库及开发框架的安装使用，拥有研发类、数据库管理类岗位转产品工作经验者优先考虑；\n5、能够熟悉操作Linux/Centos/Redhat/Ubuntu等任一系统，且拥有应用部署经验者优先考虑。", "workAddr": "北京-朝阳区-望京-保利国际广场", "origin": "拉钩网"} {"positionName": "大数据技术负责人", "companyName": "58到家招聘", "companySize": "2000人以上", "industryField": "消费生活", "financeStage": "D轮及以上", "companyLink": "https://www.daojia.com", "city": "北京", "salary": "45k-50k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 强大平台、优厚薪资、扁平管理、六险一金", "jobDetail": "工作职责：1、使用机器学习算法解决常见的业务问题，工作内容可能包括但不限于：预测技术、推荐算法、运筹优化、机器学习、仿真系统等2、数据挖掘、分析，通过对复杂业务或系统问题进行建模，分析影响系统的关键因素，规划、设计和实现新的解决方案，评估并优化模型3、分析商家接单行为并进行策略优化4、设计匹配模型，大幅提升业务成单率\n岗位要求：1、具有调度、推荐等相关业务经验2、统招本科或以上学历，计算机、数据挖掘、统计学、运筹学、机器学习或其他相关专业3、丰富的数据分析技能和相关经验，具备较好的英文阅读能力4、熟悉R/Python等编程语言，熟悉Hadoop, spark, Hive等大数据处理工具5、优秀的团队合作精神、诚实、勤奋、严谨", "workAddr": "北京-朝阳区-北苑-北苑路大羊坊10号桑普大厦6层", "origin": "拉钩网"} {"positionName": "物联网大数据架构师", "companyName": "源清慧虹招聘", "companySize": "50-150人", "industryField": "信息安全,数据服务", "financeStage": "B轮", "companyLink": "http://www.smartbow.net", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 二次医疗 绩效奖金 健身房", "jobDetail": "技能要求：\n数据架构，解决方案、分布式、微服务架构，大型分布式架构，Hadoop\n岗位职责：\n1. 负责物联网大数据平台系统的设计与实现，包括实时流和离线数据等相关功能的开发与实现。\n2. 负责完成核心代码技术攻坚。\n3. 根据开发规范与流程独立完成模块的设计、编码、测试以及相关文档。\n4. 负责物联网监测行业的算法工程化实现。\n任职资格\n1. 计算机相关专业本科及以上学历。\n2. 3年以上开发经验熟练掌握Python 、Go 、C++中的至少一种开发语言。\n3. 有相关的大数据系统架构经验，具有扎实的计算机科学功底，扎实的编程基础和数据结构算法基础，良好的工程素养，极强的问题解决能力。\n4. 熟练掌握Hadoop、Kafka、Spark、Storm等分布式框架原理，有相关的调优、运维、开发经验。\n5. 具有Postgresql、MySql、MongoDB，ClickHouse等其中一种数据库应用开发经验。\n6. 有物联网相关系统、可视化相关系统、微服务相关系统的设计和研发经验的优先考虑。\n7. 对技术有激情，有较强的独立、主动的学习能力，良好的沟通表达能力。\n8. 善于交流，有良好的团队合作精神和积极的工作态度，个人素养过硬。", "workAddr": "北京-海淀区-西三旗-西小口路18号新华创新大厦3层", "origin": "拉钩网"} {"positionName": "数据开发工程师-【电商】", "companyName": "快手平台生态组招聘", "companySize": "2000人以上", "industryField": "文娱丨内容", "financeStage": "D轮及以上", "companyLink": "https://www.kuaishou.com/", "city": "北京", "salary": "30k-60k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 空间大,待遇优,大牛多,氛围好", "jobDetail": "职位描述1. 为快手电商新产品构建业务指标体系，建立和完善日常业务报告体系，能够及时、准确、完整的披露业务方向的运作情况； \n2. 负责快手电商新产品数据统计、报表产出、效果监测、归因分析和商务支持； \n3. 通过专项分析，输出专项分析报告，为快手电商的业务决策和产品方向提供数据支持和指导； \n4. 参与埋点设计、数据生产全流程等技术体系建设和保障工作； \n5. 参与数据集市建模与数据开发，建设共享数据集市；任职要求1. 本科以上学历，两年以上数据开发经验； \n2. 灵活运用hive实现海量数据ETL加工处理，HIVE查询优化； \n3. 熟悉数据集市模型设计方法论，并有实际模型设计及ETL开发经验； \n4. 熟悉常用的数据挖掘、分析工具和方法，有数据挖掘工作经验；熟悉linux平台，精通shell/c(c++)/java/python 等脚本语言的一种或多种，编码基本功扎实； \n5. 具备快速学习能力、跨团队沟通协作能力、团队精神； \n6. [加分]有较强产品sense者优先； \n7. [加分]有数据洁癖和代码洁癖者优先；", "workAddr": "北京-海淀区-西二旗-上西路6号快手总部", "origin": "拉钩网"} {"positionName": "大数据研发架构师", "companyName": "牛客科技招聘", "companySize": "少于15人", "industryField": "移动互联网,电商", "financeStage": "未融资", "companyLink": "https://www.lagou.com/gon...", "city": "北京", "salary": "25k-45k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 一线互联网知名公司 体制内 薪酬福利好", "jobDetail": "工作职责：\n1、负责云平台软件基础设施中大数据相关产品；\n2、负责云平台大数据软件基础设施的设计、研发工作；\n3、负责基于大数据软件基础设施的场景化解决方案。\n任职要求：\n1、计算机或相关专业本科（或以上）学历；\n2、熟悉Linux 平台，分布式系统原理，对存储、计算、网络中的一项或多项有深入的理解和认识；\n3、熟悉多项大数据处理/分析相关的工具/框架，e.g. Hadoop, Mapreduce, Hive, Storm, Spark, kafka ；\n4、有Hadoop, Mapreduce, Hive, Storm, Spark, kafka 使用经验者优先；\n5、做事认真负责，沟通能力良好，自学能力较强。", "workAddr": "北京-海淀区-西北旺-西北旺", "origin": "拉钩网"} {"positionName": "SA-腾讯社交广告大数据研发...", "companyName": "腾讯招聘", "companySize": "2000人以上", "industryField": "社交", "financeStage": "上市公司", "companyLink": "http://hr.tencent.com", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 大平台,大空间", "jobDetail": "岗位职责：\n 腾讯社交广告系统数据工程平台研发，偏重系统架构设计与实现，参加以下一到多项工作： 1. 搭建数据仓库，存储并处理海量的实时、批量数据，满足广告业务的定向、分析和模型特征等业务需要 2. 建设数据发布系统，将数据仓库的数据应用到广告在线业务 3. 特征工程工程系统建设，为模型方提供特征数据流和特征离线调研、评估平台，并保证模型训练和预测阶段的特征线上与线下一致性； 4. 用户标识映射、画像数据在线服务的开发与维护； 5. 广告后台海量日志数据和广告主数据处理平台； 6. 报表和广告策略的统计数据生成和存储； 7. 多维透视业务索引和存储； \n岗位要求：\n 重点大学本科以上学历，计算机相关专业； 具有扎实的数据结构和算法功底； 熟练使用 Java，Scala，C/C++， Python； 有海量数据处理经验，熟悉 Hadoop，Spark，HBase，Beam等开源框架 ； 有分布式系统，Tensorflow等机器学习系统等经验优先 ； 有较强学习能力和逻辑思维能力，具备良好的问题分析与解决能力； 善于沟通，工作积极主动，责任心强，具备良好的团队协作能力；", "workAddr": "北京-海淀区-北京大学-中国技术交易大厦", "origin": "拉钩网"} {"positionName": "大数据项目经理", "companyName": "彩智招聘", "companySize": "15-50人", "industryField": "移动互联网,企业服务", "financeStage": "A轮", "companyLink": "http://www.czkj1010.com", "city": "北京", "salary": "15k-30k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 成长空间好，扁平管理", "jobDetail": "岗位职责：1、负责大数据项目的整体推进，制定相关项目计划，并落实计划的执行；2、负责大数据项目的整体需求分析，负责同客户的需求沟通和交流，并完成项目的需求分析和确认；完成数据展现系统的设计与数据分析报告的编制3、参与项目的整体技术研发管理，管控研发的进度和质量；4、协助推进相关项目的产品化过程；完成公司行业大数据产品线的数据分析、建模、产品定义等相关工作5、对区块链有较好的学习能力，可以快速掌握公司现有的区块链案例与产品成果的能力，并分析设计与大数据系统的结合方案。技能要求：1、具有大数据相关的项目管理和项目交付经验，有非常好的客户沟通能力，能够独立承担项目的需求分析和整体需求架构；了解目前主流的大数据相关的技术体系和架构体系；2、有非常好的业务分析能力，能快速适应新行业业务和数据的分析要求，有良好的学习能力和探索能力；3、有相关的电子政务领域的行业经验者优先；", "workAddr": "北京-海淀区-中关村-中关村东路8号东升大厦A座4层", "origin": "拉钩网"} {"positionName": "Java 研发工程师 - 大数据方向", "companyName": "新浪网招聘", "companySize": "2000人以上", "industryField": "文娱丨内容", "financeStage": "上市公司", "companyLink": "http://www.sina.com.cn", "city": "北京", "salary": "25k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 技术氛围浓厚、大平台、六险一金", "jobDetail": "【工作职责】：\n1、参与优化改进新浪集团数据平台基础服务，包括日传输量超过百TB的数据传输体系优化，日处理量超过几十PB级别的数据处理平台改进；\n2、参与 Hadoop、Spark、Flink 集群的开发、调优、监控等工作；\n3、参与开发优化分布式机器学习算法；\n4、为集群用户提供开发优化技术支持。\n【任职要求】：\n1、计算机相关专业本科及以上学历，有良好的数据结构、算法基础，熟悉Linux基本操作；\n2、熟练掌握Java 语言，了解Shell, Python等常用编程语言，有良好的代码习惯；\n3、有较多的性能优化经验；\n4、具备良好的学习能力、分析能力和解决问题的能力。\n【加分项】：\n1、了解大数据相关框架：Hadoop、Spark、Flink、HBASE 等；\n2、有开源项目开发维护经验。", "workAddr": "北京-海淀区-西北旺东路10号院西区8号楼新浪总部大厦", "origin": "拉钩网"} {"positionName": "大数据技术负责人", "companyName": "58到家招聘", "companySize": "2000人以上", "industryField": "消费生活", "financeStage": "D轮及以上", "companyLink": "https://www.daojia.com", "city": "北京", "salary": "45k-50k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 强大平台、优厚薪资、扁平管理、六险一金", "jobDetail": "工作职责：1、使用机器学习算法解决常见的业务问题，工作内容可能包括但不限于：预测技术、推荐算法、运筹优化、机器学习、仿真系统等2、数据挖掘、分析，通过对复杂业务或系统问题进行建模，分析影响系统的关键因素，规划、设计和实现新的解决方案，评估并优化模型3、分析商家接单行为并进行策略优化4、设计匹配模型，大幅提升业务成单率\n岗位要求：1、具有调度、推荐等相关业务经验2、统招本科或以上学历，计算机、数据挖掘、统计学、运筹学、机器学习或其他相关专业3、丰富的数据分析技能和相关经验，具备较好的英文阅读能力4、熟悉R/Python等编程语言，熟悉Hadoop, spark, Hive等大数据处理工具5、优秀的团队合作精神、诚实、勤奋、严谨", "workAddr": "北京-朝阳区-北苑-北苑路大羊坊10号桑普大厦6层", "origin": "拉钩网"} {"positionName": "物联网大数据架构师", "companyName": "源清慧虹招聘", "companySize": "50-150人", "industryField": "信息安全,数据服务", "financeStage": "B轮", "companyLink": "http://www.smartbow.net", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 二次医疗 绩效奖金 健身房", "jobDetail": "技能要求：\n数据架构，解决方案、分布式、微服务架构，大型分布式架构，Hadoop\n岗位职责：\n1. 负责物联网大数据平台系统的设计与实现，包括实时流和离线数据等相关功能的开发与实现。\n2. 负责完成核心代码技术攻坚。\n3. 根据开发规范与流程独立完成模块的设计、编码、测试以及相关文档。\n4. 负责物联网监测行业的算法工程化实现。\n任职资格\n1. 计算机相关专业本科及以上学历。\n2. 3年以上开发经验熟练掌握Python 、Go 、C++中的至少一种开发语言。\n3. 有相关的大数据系统架构经验，具有扎实的计算机科学功底，扎实的编程基础和数据结构算法基础，良好的工程素养，极强的问题解决能力。\n4. 熟练掌握Hadoop、Kafka、Spark、Storm等分布式框架原理，有相关的调优、运维、开发经验。\n5. 具有Postgresql、MySql、MongoDB，ClickHouse等其中一种数据库应用开发经验。\n6. 有物联网相关系统、可视化相关系统、微服务相关系统的设计和研发经验的优先考虑。\n7. 对技术有激情，有较强的独立、主动的学习能力，良好的沟通表达能力。\n8. 善于交流，有良好的团队合作精神和积极的工作态度，个人素养过硬。", "workAddr": "北京-海淀区-西三旗-西小口路18号新华创新大厦3层", "origin": "拉钩网"} {"positionName": "数据开发工程师-【电商】", "companyName": "快手平台生态组招聘", "companySize": "2000人以上", "industryField": "文娱丨内容", "financeStage": "D轮及以上", "companyLink": "https://www.kuaishou.com/", "city": "北京", "salary": "30k-60k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 空间大,待遇优,大牛多,氛围好", "jobDetail": "职位描述1. 为快手电商新产品构建业务指标体系，建立和完善日常业务报告体系，能够及时、准确、完整的披露业务方向的运作情况； \n2. 负责快手电商新产品数据统计、报表产出、效果监测、归因分析和商务支持； \n3. 通过专项分析，输出专项分析报告，为快手电商的业务决策和产品方向提供数据支持和指导； \n4. 参与埋点设计、数据生产全流程等技术体系建设和保障工作； \n5. 参与数据集市建模与数据开发，建设共享数据集市；任职要求1. 本科以上学历，两年以上数据开发经验； \n2. 灵活运用hive实现海量数据ETL加工处理，HIVE查询优化； \n3. 熟悉数据集市模型设计方法论，并有实际模型设计及ETL开发经验； \n4. 熟悉常用的数据挖掘、分析工具和方法，有数据挖掘工作经验；熟悉linux平台，精通shell/c(c++)/java/python 等脚本语言的一种或多种，编码基本功扎实； \n5. 具备快速学习能力、跨团队沟通协作能力、团队精神； \n6. [加分]有较强产品sense者优先； \n7. [加分]有数据洁癖和代码洁癖者优先；", "workAddr": "北京-海淀区-西二旗-上西路6号快手总部", "origin": "拉钩网"} {"positionName": "大数据研发架构师", "companyName": "牛客科技招聘", "companySize": "少于15人", "industryField": "移动互联网,电商", "financeStage": "未融资", "companyLink": "https://www.lagou.com/gon...", "city": "北京", "salary": "25k-45k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 一线互联网知名公司 体制内 薪酬福利好", "jobDetail": "工作职责：\n1、负责云平台软件基础设施中大数据相关产品；\n2、负责云平台大数据软件基础设施的设计、研发工作；\n3、负责基于大数据软件基础设施的场景化解决方案。\n任职要求：\n1、计算机或相关专业本科（或以上）学历；\n2、熟悉Linux 平台，分布式系统原理，对存储、计算、网络中的一项或多项有深入的理解和认识；\n3、熟悉多项大数据处理/分析相关的工具/框架，e.g. Hadoop, Mapreduce, Hive, Storm, Spark, kafka ；\n4、有Hadoop, Mapreduce, Hive, Storm, Spark, kafka 使用经验者优先；\n5、做事认真负责，沟通能力良好，自学能力较强。", "workAddr": "北京-海淀区-西北旺-西北旺", "origin": "拉钩网"} {"positionName": "大数据研发经理", "companyName": "明略科技集团招聘", "companySize": "2000人以上", "industryField": "数据服务,广告营销", "financeStage": "D轮及以上", "companyLink": "http://www.miaozhen.com/", "city": "北京", "salary": "25k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 福利待遇好 发展空间大 精英团队", "jobDetail": "职位职责：\n1、负责DaaS底层数据仓库开发与管理；\n2、负责大数据开发及查询分析平台开发，包括数据集成、权限管控、主数据及元数据管理、报告系统及AdHoc查询等，对外提供API服务接口；\n3、提供数据化运营工具，沟通丰富多样的大数据应用。\n \n职位要求：\n1、大学本科及以上学历，3年以上的大数据相关研发经验，有管理经验者优先；\n2、扎实的技术功底，至少精通Java、Scala中一种；\n3、精通大数据相关技术栈，熟悉Hadoop、Hive、HBase、Spark、Kafka、Druid等大数据相关开源框架的使用及底层原理，向开源社区贡献过patch优先考虑；\n4、有丰富的大数据技术背景，实际参与过数据仓库、大数据开发及查询分析平台相关项目；\n5、有较强的逻辑思维能力和执行能力，乐于沟通。", "workAddr": "北京-朝阳区-望京-望京soho", "origin": "拉钩网"} {"positionName": "大数据LeaderG00069", "companyName": "Riley Cillian莱熙科技招聘", "companySize": "50-150人", "industryField": "移动互联网", "financeStage": "不需要融资", "companyLink": "http://www.rileycillian.com", "city": "北京", "salary": "40k-70k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 薪资高", "jobDetail": "建立全链路行为的数据采集分析平台，运用数据分析和数据挖掘技术，为公司产品和业务实现数据驱动、数据决策、数据赋能： 1、全面负责大数据平台的规划和搭建、平台的日常运营和优化、数据维护、数据产品、算法和计算 2、人工智能中数据平台的方案设计，能够基于用户数据对人物画像等提出独到的见解 3、参与基于大数据平台的创新业务场景、数据产品的设计，负责数据产品的研发交付 4、带领团队完成大数据平台的日常运营工作，为数据分析和展现提供支援 5、制订数据质量标准，管控数据变更流程，管理数据资产，确保数据安全 6、及时跟进大数据架构领域新技术并分享，带领团队成长 7、基于数据洞察和业务理解，制定和实施实现公司业务增长和用户增长的方案和策略，包括： • 优化营销策略，降低获客成本； • 优化运营策略，提升用户留存； • 提供产品改进策略和AB TEST方案，指导产品改造； • 优化用户匹配，推荐，提升产品收入； • 制定用户定价模型； • 构建用户画像；8、 团队成员的搭建与培养，任务划分，进度监控，代码规范，质量保证 岗位要求：1.计算机、数学、统计学相关专业本科或硕士以上学历，8年以上分布式系统及大数据相关研发经验经验，5年以上团队管理经验 2.熟悉大数据相关计算引擎，如 Spark，Mapreduce，Hive，Impala，Druid，kylin等等，有相关引擎的优化 3.拥有5年以上Hive/HBase开发设计和实施经验并具有至少3年以上产品项目应用研发实战经验4.业界领先的大数据方案，对源码的深入研究和开发优化，丰富的业务场景和挑战 5.有优秀的业务理解能力，能理解清楚业务并进行合理的模块和架构设计6.深度关注业务，强烈的责任感及owner意识", "workAddr": "北京-朝阳区-四惠远洋国际中心C座2101", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "泰康保险集团招聘", "companySize": "2000人以上", "industryField": "金融", "financeStage": "不需要融资", "companyLink": "http://www.taikang.com/", "city": "北京", "salary": "20k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 500强,班车食堂", "jobDetail": "职位诱惑：\n500强,班车食堂\n\n工作职责：\n1、参与内容推荐系统，提供高效可靠的线上服务；\n2、分析海量用户行为数据，增加有效的用户特征，改进模型和召回、排序策略，提升推荐效果；参与设计和实施人工智能解决方案和模型，优化推荐效果；\n \n任职要求\n1、计算机或相关专业统招本科以上学历，5年以上真实项目开发经验，5年以上大数据工作经验；\n2、熟练掌握java、python、scala中至少一种开发语言，java优先；\n3、计算机基础知识扎实，熟悉 Linux 开发环境 操作系统原理 对分布式系统具有浓厚兴趣；\n4、能快速理解业务场景，从具体问题中抽象出通用的解决方案；\n5、熟练掌握Hadoop、hive、hbase、kafka、spark、flume、sqoop、impala等大数据技术，掌握数据仓库、离线计算与实时计算开发经验，有一定的高性能支撑经验和故障排除能力。\n6、掌握至少一种关系型数据库，如mysql、oracle、postgreSql等；掌握至少一种nosql数据库，如redis、memcache、mongodb、es等；\n7、熟悉linux环境、shell脚本编写，熟练使用idea、maven、git的等开发工具；\n8、对大规模数据挖掘、机器学习感兴趣\n9、熟悉内容推荐系统的架构、了解协同过滤及常用的推荐算法、了解用户特征挖掘技术者优先；\n\n\n【加分项】\n1. 有研究与思考，输出博客文章的习惯（请在简历附上博客链接）；\n2. 有大规模前端项目开发经验；\n \n我们能享受到：\n- 弹性工作制\n-七险两金（补充医疗保险及企业年金）、配偶及子女补充保险\n- 园林般的工作环境，经常作为电视剧拍摄外景地\n- 免费的通勤班车\n-自有员工食堂，由湘鄂情旗下品牌入驻，提供早餐-夜宵全天候服务\n-健身房（器械+跑步机+瑜伽室+动感单车+台球+桌上足球+乒乓球...）、篮球场、网球场\n- 温馨的生日卡+丰厚的过节卡\n- 专业公司量身定制的春夏秋冬职业套装\n-休闲时光：水吧+图书室+散布在职场各处的休息区", "workAddr": "北京-昌平区-北清路生命科学园", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "维恩贝特招聘", "companySize": "500-2000人", "industryField": "电商", "financeStage": "上市公司", "companyLink": "http://www.vivebest.com/", "city": "北京", "salary": "15k-30k", "workYear": "经验3-5年", "education": "大专及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金；定期体检", "jobDetail": "岗位要求：\n1、精通SQL语句，同时具备JAVA、Python等语言开发能力\n2、 熟悉阿里大数据组件开发流程；\n3、能够熟练使用DataWorksMaxCompute, DataWorks, StreamCompute，ECS， RDS等工具,能够基于该工具开展数据分析；\n4、能够熟练使用DataHub、DTS、Blink、Spark等阿里相关组件进行数据集成或开发，熟练使用OGG、Informatica ETL配置及开发；\n5、具有一定技术方案规划能力及文档编写能力\n6、具有4年以上阿里云大数据开发工作经验；\n7. 较好的沟通理解能力，性格乐观，态度踏实，积极上进；\n8、具备ACP大数据者优先。", "workAddr": "北京-西城区-西单-昌盛大厦", "origin": "拉钩网"} {"positionName": "医学大数据平台高级产品经理", "companyName": "生命奇点招聘", "companySize": "50-150人", "industryField": "医疗丨健康,数据服务", "financeStage": "A轮", "companyLink": "http://www.gennlife.com", "city": "北京", "salary": "15k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 豪华团队，行业发展空间大，接触前沿技术", "jobDetail": "职位描述：\n职位描述：1) 负责医学大数据平台及应用产品的规划和设计；\n2) 与临床医生、医院管理层、医学领域专家沟通，调研业务需求，将业务需求模型转换为产品设计;3) 跨部门协调和沟通，推动产品的研发和落地，保证产品线进度顺利进行；4) 参与所负责的产品线运营工作，以及后续的优化迭代工作。职位要求：1) 2-5年以上企业级产品管理、产品设计、业务建模实践经验；具备软件工程、统计学，或者临床医学、生物信息相关背景知识者优先；2) 理解产品设计、研发和运营流程，善于挖掘真正的用户需求；3) 有比较强的洞察力，善于突破性思维；善于表达，做跨领域沟通；4) 善于协调、推动和组织，推动整个项目团队执行；5) 熟练使用项目管理，需求管理，原型设计等相关软件者优先。", "workAddr": "北京-海淀区-北四环西路65号海淀新技术大厦1036", "origin": "拉钩网"} {"positionName": "大数据高级开发工程师（计算...", "companyName": "联洋国融研发中心招聘", "companySize": "50-150人", "industryField": "数据服务", "financeStage": "天使轮", "companyLink": "https://www.lagou.com/gon...", "city": "北京", "salary": "20k-30k", "workYear": "经验3-5年", "education": "硕士及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 海量数据、每天上百亿条数据、数据量50T", "jobDetail": "岗位职责：\n1. 负责大数据计算平台的建设。\n2. 负责大数据建模平台的建设。\n岗位要求：\n1. 计算机相关专业；硕士及以上学历；\n2. 精通spark，熟练掌握scala语言开发；\n3. 熟悉Java的基础技术体系，包括JVM、线程、并发、IO资源管理、网络等；\n4. 熟悉Hadoop/Yarn/Flink/Beam等开源大数据技术，至少精通一种，在开源社区活跃者优先；\n5. 熟练掌握资源管理，网络编程，数据库技术，海量存储，流计算等任一领域；\n6. 熟悉性能分析和改进的方法和工具（metrics, profiling, monitoring等）；", "workAddr": "北京-西城区--北京茅台大厦（北三环马甸桥附近）", "origin": "拉钩网"} {"positionName": "大数据ETL工程师", "companyName": "作业帮大数据基础架构部招聘", "companySize": "2000人以上", "industryField": "工具", "financeStage": "D轮及以上", "companyLink": "http://www.zybang.com", "city": "北京", "salary": "20k-40k", "workYear": "经验1-3年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 牛人多 成长快", "jobDetail": "岗位描述： 1.负责公司多个核心产品业务的数据仓库建设。 2.负责ETL开发、数据入仓、数据清洗、数据处理、模型分析工作3.参与数据治理工作，深度参与数据流建设的每个环节，把控数据质量，提升数据易用性。 4.与数据分析团队紧密合作，指导数据工作，并抽象可以复用的数据模型。5.管理并优化存储&计算资源利用效率、监控并维护例行ETL任务 岗位要求: 1、计算机、数学或统计学相关专业本科以上学历；熟悉互联网行业，1年以上大数据处理开发经验； 2、有TB量级数据处理经验者优先； 3、计算机或相关专业高考统招全日制本科及以上学历；2年以上大型数据仓库架构设计、模型设计、ETL设计的相关经验4、有扎实的编程能力, 熟悉SQL，Python，Hadoop, Hive，Spark等； 5、善于沟通，具备优秀的技术与业务结合能力；", "workAddr": "北京-海淀区-西二旗-开拓路1号汇苑开拓大厦A座4层", "origin": "拉钩网"} {"positionName": "大数据产品经理(J10437)", "companyName": "BBD招聘", "companySize": "500-2000人", "industryField": "数据服务", "financeStage": "D轮及以上", "companyLink": "http://www.bbdservice.com", "city": "北京", "salary": "10k-15k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 公司大牛多 办公环境好", "jobDetail": "工作职责:\n1.负责数据转化、分析产品规划和设计，将该类功能通过产品赋能给业务人员以及落地客户场景，灵活支撑公司内部以及客户实际场景业务的创新和探索，让数据产生业务价值。\n2.协调推动技术团队将产品落地，产出安全、稳定、易用的数据服务工具。\n3.根据规范数据标准、让数据获取更高效，打造数据内外部共享融通的数据分析平台。\n4.针对数据服务需求，能够挖掘深层次需求。\n\n任职资格:\n1.本科及以上学历，扎实的数据平台/数据产品开发或设计基础，2年以上大数据产品相关经验，有独立负责大数据产品经验者为佳。\n2.数据分析能力强、有较强的换位意识、良好的业务视野及调研分析能力，善于从数据中发现问题捕捉机会，产出MRD，DEMO及PRD。\n3.有较强的逻辑思维、项目管理、沟通谈判等能力，推进产品高效迭代。\n4.熟练掌握Axure、Xmind、Project、Office等工具,并具有出色的文档编写与汇报能力。\n5.自我驱动能力强，具备快速学习能力，能够适应不断变化的内外部环境。\n6.毕业于985或211高校者优先。", "workAddr": "北京-海淀区-西直门-中关村南大街5号北京理工大学国防科技园5号楼17层", "origin": "拉钩网"} {"positionName": "腾讯云大数据开发平台研发...", "companyName": "腾讯招聘", "companySize": "2000人以上", "industryField": "社交", "financeStage": "上市公司", "companyLink": "http://hr.tencent.com", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 加入腾讯云，创造下一个里程碑", "jobDetail": "岗位职责：\n负责腾讯云公有云数据平台的建设\n岗位要求：\n1、统招本科及以上学历，计算机相关专业，3年及以上相关工作经验，有扎实的计算机理论基础；2、精通Java程序开发，熟悉Linux/Unix开发环境；3、对分布式系统以及资源竞争场景有实践经验，具有高扩展性、高性能和分布式系统的实践经验；4、深入理解和熟练使用Hadoop生态，并有源码阅读经验的优先；5、具有大数据平台开发和使用经验优先； 6、具有数据分析经验优先。", "workAddr": "北京-海淀区-中关村-理想国际大厦", "origin": "拉钩网"} {"positionName": "大数据技术总监", "companyName": "明略科技集团招聘", "companySize": "2000人以上", "industryField": "数据服务,广告营销", "financeStage": "D轮及以上", "companyLink": "http://www.miaozhen.com/", "city": "北京", "salary": "40k-60k", "workYear": "经验5-10年", "education": "硕士及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 福利待遇好 发展空间大", "jobDetail": "岗位职责：1. 负责集团大数据中心数据开发工作，参与业务需求分析和大数据平台系统架构设计；2. 参与开发AI创新使用场景和产品落地中的数据存储、分析查询及大数据系统管理维护等； 3. 数据仓库的建设；4. 大数据处理解决方案；5. 负责大数据系统的性能优化；职位需求：1. 本科及以上学历，计算机、软件工程专业优先；五年以上大数据项目开发经验，3年以上管理经验；2. 精通Java\\Scala\\Python其中至少一种开发语言；3. 熟悉Hadoop生态圈相关技术，了解Hadoop、HBase、Kafka、Hive、Spark等组件的工作原理；有海量数据的实际处理经验；4. 有数据仓库建设的经验；搭建、调优并维护过Hive、Presto、Spark、Kafka、Redis等服务；5. 有Druid,Kylin,ELK等使用经验者优先；6. 主动性强，具有良好的沟通、协调和组织能力，富有团队精神，有较强的文档编写能力；", "workAddr": "北京-朝阳区-望京-望京soho", "origin": "拉钩网"} {"positionName": "大数据产品经理", "companyName": "维恩贝特招聘", "companySize": "500-2000人", "industryField": "电商", "financeStage": "上市公司", "companyLink": "http://www.vivebest.com/", "city": "北京", "salary": "15k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金 绩效奖金 定期体检", "jobDetail": "工作职责:\n1、负责公司数据中台产品的整体规划和产品方案设计，撰写高质量的产品设计文档；\n2、推动产品迭代优化，提升产品体验与分析能力；\n\n职位要求：\n1、至少有对数据处理超过1年以上的工作经验，熟练运用常用数据处理工具，如excel、SQL、Python。\n2、3年以上产品经验，能够独立撰写产品文档、设计产品；\n3、有通过数据分析改进产品的经验，对市面上的数据类产品有较深了解；\n4、自我驱动，有owner意识，善于通过数据驱动解决问题；跨团队与部门的沟通能力强，有较强的团队协作意识和能力。\n5、本科及以上学历，数学、计算机专业优先。\n6、从事过 toB 和 SaaS 类产品管理经验者优先；", "workAddr": "北京-海淀区-中关村-辉煌时代大厦", "origin": "拉钩网"} {"positionName": "大数据架构工程师", "companyName": "快手招聘", "companySize": "2000人以上", "industryField": "文娱丨内容", "financeStage": "D轮及以上", "companyLink": "https://www.kuaishou.com/", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 带薪年假,年度体检,免费午餐,弹性工作", "jobDetail": "工作内容：\n1、Hadoop生态子系统的研发、测试与优化工作，解决实际业务需求与性能问题。子系统包括但不限于HDFS，HBASE，YARN，SPARK，KAFKA等。\n2、承担数千台规模Hadoop集群的管理工作，解决超大规模Hadoop集群在应用与运行过程中的出现各种问题，保证集群的高效稳定运行。\n3、和开源社区保持交流，从社区引入对公司业务场景有帮助的特性与系统，或将内部研发的功能贡献到社区。\n任职要求：\n1、计算机或相关专业本科及以上学历。\n2、思维活跃，熟悉Hadoop生态子系统（至少一个），精读过源代码者尤佳，所开发代码被开源社区接受者尤佳。\n3、优秀的设计与编码能力，工程质量自我要求高，针对业务需求与问题，可快速设计与实现解决方案。\n4、很强的问题分析与解决能力，强烈的责任心，对工作有激情，良好的沟通能力。", "workAddr": "北京-海淀区-西二旗-上西路6号-快手总部", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "联洋国融研发部招聘", "companySize": "50-150人", "industryField": "数据服务", "financeStage": "天使轮", "companyLink": "https://www.lagou.com/gon...", "city": "北京", "salary": "20k-30k", "workYear": "经验3-5年", "education": "硕士及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 发展前景好，五险一金，团队旅游", "jobDetail": "岗位职责：\n1. 负责分布式存储平台的设计及研发；\n2. 负责大数据接入系统的设计和研发；\n3. 持续对系统进行性能优化、功能改善以及稳定性提升；\n岗位要求：\n1. 计算机相关专业，硕士及以上学历，背景特别优秀者可考虑本科学历；\n2. 有5年以上的大数据平台开发经验，有分布式系统开发经验，参与过大型集群的建设工作；\n3. 熟悉Java的基础技术体系，包括JVM、线程、并发、IO资源管理、网络等；\n4. 熟悉HDFS、Hive、Kafka、Flink等开源存储系统中的至少一种，有源代码阅读及修改经验。\n5. 熟悉分布式存储系统原理，有相关设计经验优先；\n6. 对Paxos/Raft算法、高可用、高可靠架构等有深入理解，并有一定的实践经验。有压缩算法设计、存储结构设计等经验者优先考虑；", "workAddr": "北京-西城区--北京茅台大厦（北三环马甸桥附近）", "origin": "拉钩网"} {"positionName": "高级大数据运维工程师", "companyName": "茄子快传运维部招聘", "companySize": "150-500人", "industryField": "工具", "financeStage": "B轮", "companyLink": "http://www.ushareit.com/z...", "city": "北京", "salary": "25k-50k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 团队大牛多,行业独角兽,福利待遇好", "jobDetail": "职位挑战\n全球 18 亿用户/月活 5 亿，公司由工具向内容转型，大数据面临很多挑战。\n我们在大数据存储/计算引擎/调度/数据工具/数据应用等方向持续投入，构建准确、高效、稳定、高性能的数据平台，为产品和运营赋能。\n \n工作职责\n1，负责公司大数据业务线上系统运维，提升业务稳定性，制定和优化运维解决方案，包含容灾/弹性扩容等。\n2，负责大数据平台代码的持续集成和部署，Spark 内部分支的构建发布，Genie/Airflow/Superset/Flink/Druid/ClickHouse 等的持续迭代部署。\n3，负责大数据平台架构的搭建和稳定性保障，配合各业务方向合作提供高效的监控、故障快速处理的手段和能力，提升运维工作效率。\n4，参与大数据系统容量测算和规划设计，优化资源运维成本。\n5，负责运维工作持续向自动化、标准化方向迭代优化，不断提升线上服务整体质量。\n6，探索、研究新的运维技术方向。\n \n任职要求：\n1，熟悉脚本语言 Shell/Python 等并有相关开发经验。\n2，熟悉 Linux/Unix 管理和运维以及网络相关知识。\n3，熟悉 kubernetes 等容器编排工具以及 Docker 等容器工具。\n4，基于 Prometheus/Grafana 等开源工具构建维护大数据平台监控体系，并能够及时发现和处理平台异常。\n5，负责数据平台数据权限梳理和申请审核。\n6，有较强的学习能力，有危机和风险意识，能够经受较大工作压力，能接受 7*24H OnCall。\n \n加分项：\n1，熟练掌握 helm，或者其他 infrastructure as code 研发经验。\n2，对工程效率有兴趣，愿意通过平台和工具并结合流程规范，提升工程效率。\n3，有敏锐的技术嗅觉，能快速掌握业界涌现的各种开源技术和新工具。", "workAddr": "北京-海淀区-中关村软件园", "origin": "拉钩网"} {"positionName": "高级数据开发工程师-小米视频", "companyName": "小米招聘", "companySize": "2000人以上", "industryField": "硬件", "financeStage": "D轮及以上", "companyLink": "http://www.mi.com", "city": "北京", "salary": "21k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金 年底奖金 弹性工作双休", "jobDetail": "岗位职责\n1.负责小米视频业务中台数据平台的设计与实现；\n2.负责小米视频业务中台数据平台相关数据的存储、查询、挖掘等的功能开发；\n \n任职要求\n1.计算机、数学相关专业本科及以上学历，4年以上互联网研发工作经验；\n2.具有扎实的计算机科学功底，扎实的编程基础和数据结构算法基础，良好的工程素养，极强的问题解决能力；\n3.精通Unix/Linux操作系统下Java或Scala开发，有良好的编码习惯，有扎实的计算机理论基础；\n4.有基于hadoop体系的数据仓库开发经验，了解 Hive，Hbase，Spark等大数据处理工具和技术，有较强的调优能力；\n5.对数据敏感，有较强的逻辑分析能力，对大数据处理和分析技术有丰富的经验和强烈热情；\n6.善于交流，有良好的团队合作精神和协调沟通能力。", "workAddr": "北京-海淀区-清河-顺事嘉业创业园", "origin": "拉钩网"} {"positionName": "大数据/数据挖掘算法工程师", "companyName": "盈嘉互联领航研究院招聘", "companySize": "50-150人", "industryField": "移动互联网,企业服务", "financeStage": "不需要融资", "companyLink": "http://www.boswinner.com", "city": "北京", "salary": "20k-40k", "workYear": "经验不限", "education": "硕士及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金、期权奖励、各项补贴等", "jobDetail": "欢迎应届和实习生\n岗位职责：\n1、负责大数据技术平台开发；\n2、负责机器学习算法在线/离线系统实现；\n3、负责数据仓库和挖掘工具平台开发；\n4、 对大数据基础架构和平台有深刻理解和丰富开发经验，具备相关产品（Hadoop、Hive、HBase、Kafka、MapReduce、Spark、kudu、es等）项目应用研发经验\n5、 有大型分布式系统设计经验，负责过海量数据平台上高可用、高性能分布式系统的架构设计。\n任职资格:\n1、知名高校研究生学历，计算机或数学统计学等专业，3年以上工作经验；\n2、具备较强的编程能力，熟练掌握java", "workAddr": "北京-石景山区-杨庄-北京市中关村石景山园西山汇16号楼1008室", "origin": "拉钩网"} {"positionName": "高级大数据开发讲师", "companyName": "拉勾网拉勾教育招聘", "companySize": "500-2000人", "industryField": "企业服务", "financeStage": "D轮及以上", "companyLink": "http://www.lagou.com", "city": "北京", "salary": "25k-50k", "workYear": "经验不限", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 高薪、试用期全薪、六险一金、领导nice", "jobDetail": "岗位职责：1、参与设计开发具有前瞻性与实用性的 高级大数据开发 课程；2、完成课程一体化设计方案，包括教学内容、教学大纲、教学指南、教学活动等；3、按照教学计划要求，完成在线课程录制与直播，优化改进；4、完善培训教辅材料、案例体系，制定课程考核标准，并建立题库；5、指导助教开展网上学习辅导活动，帮助助教提高专业教学能力。任职要求：1、热爱教育行业，本科以上学历；2、具有大数据开发2年以上一线项目研发经验，2年以上讲师经验；3、对Spark生态体系、Hadoop生态体系有深度研究与实践者优先；4、语言表达流利，思路清晰，有独特的授课风格及表现力，注重理论联系实际，深入浅出；5、能独立完成教学资料的开发（题库、案例库）；具有较高的技术水平和丰富的项目开发经验; 懂在线学习用户心理，善于沟通；6、擅于学习，工作态度积极主动，对学员有极强的责任心；具有创新的思维和意识；具有一定的抗压能力；", "workAddr": "北京-海淀区-中关村创业大街海置创投大厦4层", "origin": "拉钩网"} {"positionName": "高级数据开发工程师", "companyName": "51Talk 无忧英语招聘", "companySize": "2000人以上", "industryField": "移动互联网,教育", "financeStage": "上市公司", "companyLink": "http://www.51talk.com", "city": "北京", "salary": "20k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 超Nice的领导同事", "jobDetail": "工作职责\n1. 负责数据仓库架构设计、建模和 ETL 开发，构建可扩展的数据仓库和分析解决方案；\n2. 面向内部用户的 BI 产品的需求梳理和落地；\n3. 负责针对用户行为的数据监控和数据仓库建模，支持面向用户的数据应用系统。\n\n\n职位要求\n1. 本科以上学历；\n2. 有数据仓库理论和实践经验，熟悉数据仓库相关技术；\n3. 分布式计算工具（Map/Reduce，Hadoop，Hive等）工作经验优先；\n4. 有 Java 或 Python 的使用经验；\n5. 开放的心态，勇于挑战过去的自我；善于思考，有独立分析问题并推动解决问题的能力。", "workAddr": "北京-海淀区-上-北京市海淀区上东路9号得实大厦六层北区", "origin": "拉钩网"} {"positionName": "高级大数据工程师", "companyName": "开易科技招聘", "companySize": "150-500人", "industryField": "数据服务,其他", "financeStage": "B轮", "companyLink": "http://www.lagou.com/gong...", "city": "北京", "salary": "20k-30k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 弹性工作、技术大咖、丰厚奖金", "jobDetail": "岗位职责：\n1、负责大数据离线、实时分析处理，为业务提供数据服务及支持工作；\n2、整合公司各业务线数据，主要工作内容包括数据接入、存储、实时数据开发等；\n3、面向业务目标，从数据模型、数据分布、数据传输、数据存储等方面进行大数据系统的开发；\n4、对现有系统的不足进行分析，找到目前系统的瓶颈，能够通过不断迭代提升数据的准确性与系统性能。\n任职要求：\n1、计算机相关专业本科以上学历，5年以上大型互联网数据平台大数据处理经验；\n2、熟悉Python或java，有一定的后端开发能力，熟悉linux；\n3、具备基于Hadoop大数据平台开发经验，熟悉SQL、ETL工具，有一定大数据处理经验，能够独立进行服务部署以及大数据查询服务引擎开发；\n4、熟悉Hadoop、Kafka、Hive、Spark、Mongodb、Redis能够进行常用的ETL开发工作及服务维护；\n5、具备清晰缜密的逻辑思维能力，有较强的数据分析能力；\n6、具备优秀的沟通能力、学习能力、执行能力、团队协作能力；\n7、责任心强，能承受一定的工作压力。", "workAddr": "北京-朝阳区-来广营高新技术产业园创远路36号院10号楼", "origin": "拉钩网"} {"positionName": "数据开发工程师", "companyName": "海致交付中心招聘", "companySize": "150-500人", "industryField": "移动互联网,企业服务", "financeStage": "C轮", "companyLink": "http://www.haizhi.com/", "city": "北京", "salary": "20k-25k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 金融大数据 独角兽 固定奖金+项目奖金", "jobDetail": "岗位职责：\n1、负责大数据、BI系统相关模块的实施和项目管理工作，包括但不限于需求管理、项目规划、过程实施、上线验收、交付运营等；\n2、依据业务场景，分析需求提供技术、业务解决方案并加以实现；\n3、与技术部门对接，解决数据建模、报表和报告在系统开发中遇到的问题；\n4、协助项目经理进行项目交付或协助商务开展售前支持或POC工作。 \n\n任职要求：\n1、本科及以上学历，计算机、统计学、应用数学等相关专业；\n2、4年以上相关工作经验，有银行或金融数据仓库，数据管理、数据建模经验优先；\n3、熟悉Hadoop平台和Hive相关语法及性能优化，熟悉Spark，有一定的Spark SQL或Core开发经验；\n4、熟悉Linux开发环境和Shell脚本，熟悉Sed或Awk优先，熟悉Python脚本加分；\n5、优秀的业务理解能力、逻辑性和沟通能力，能跨部门沟通协作。", "workAddr": "北京-石景山区-永乐-万达广场A座", "origin": "拉钩网"} {"positionName": "大数据工程师", "companyName": "安讯达盛招聘", "companySize": "15-50人", "industryField": "移动互联网 医疗健康", "financeStage": "不需要融资", "companyLink": "https://www.lagou.com/gon...", "city": "北京", "salary": "15k-30k", "workYear": "经验不限", "education": "硕士及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 免费早午餐，社保公积金、节日福利", "jobDetail": "岗位职责：\n\n 大数据处理框架设计与实现；\n 数据挖掘/图挖掘，解决产品业务需求；\n 统计/可视化分析；\n 跟踪大数据技术前沿驱动产品研发。\n\n任职要求：\n\n 计算机等相关专业硕士以上学历；\n 熟悉docker/spark/openstack/nosq1数据库；\n 编程熟练，有数据挖掘经验。", "workAddr": "北京-朝阳区-呼家楼-关东店17号新瑞大厦5层", "origin": "拉钩网"} {"positionName": "大数据开发高级工程师", "companyName": "玄吉信息技术研发招聘", "companySize": "15-50人", "industryField": "移动互联网", "financeStage": "C轮", "companyLink": "http://www.xjnetworks.com", "city": "北京", "salary": "18k-24k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 优秀的研发团队，良好的工作环境", "jobDetail": "岗位职责：\n1. 参与大数据平台架构建设\n2. 参与数据仓库的搭建和分层设计\n3. 负责大数据在线、离线分析，数据挖掘模型的建立、应用、监控和优化\n\n任职要求：\n1. 本科3年以上相关工作经验\n2. 熟悉Hadoop/Spark生态圈及环境搭建\n3. 熟悉ETL开发及流程\n4. 熟悉数据仓库的建设和大数据分析\n5. 熟悉Hive-SQL，Spark-SQL，Spark-Streaming，Scala语言\n6. 熟悉Hbase和Elasticsearch优先\n7. 能够独立产出数据报告，熟悉数据采集到报表展示的全流程", "workAddr": "北京-朝阳区-望京-望京", "origin": "拉钩网"} {"positionName": "数据仓库开发工程师", "companyName": "唱吧-玩音乐，就上唱吧！招聘", "companySize": "150-500人", "industryField": "移动互联网,游戏", "financeStage": "D轮及以上", "companyLink": "http://www.changba.com", "city": "北京", "salary": "25k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 年终奖 福利好 弹性工作时间", "jobDetail": "岗位职责： 1. 关注数据变化，负责数据仓库ETL开发，参与团队ETL流程的优化以及相关技术问题的解决； 2. 理解业务需求，建设面向主题的数据集市，支持公司的BI指标； 3. 参与唱吧实时/离线数据平台相关数据开发和管理工作； 4. 跟进数仓技术的演进，推动相关应用落地。 职位要求 1. 计算机/通信/电子/数学/物理等相关专业本科及以上学历 2. 具备数据仓库理论基础，在数据仓库相关领域有3年以上工作经验，在数据治理方面有一定产品化经历； 3. 熟悉数据仓库模型设计方法论，了解数据仓库数据分层架构，精通3NF和多维数据模型设计; 4. 熟悉仓库建设相关的技术栈，包括且不限于：SQL，Hive，Hadoop/Spark，Flume，Kafka，HBase等，精通HiveSQL优先； 5. 至少掌握一门开发语言，包括且不限于：JAVA、Python、Scala、PHP等，掌握UDF和Map-Reduce开发； 6. 具备数据挖掘和机器学习算法应用经验优先； 7. 具备良好的语言沟通、表达能力和学习能力；", "workAddr": "北京-朝阳区-太阳宫中路12A号太阳宫大厦21层", "origin": "拉钩网"} {"positionName": "大数据和人工智能（高级）架...", "companyName": "腾讯招聘", "companySize": "2000人以上", "industryField": "社交", "financeStage": "上市公司", "companyLink": "http://hr.tencent.com", "city": "北京", "salary": "25k-50k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 创新领域", "jobDetail": "岗位职责： \n1. 负责大数据和AI的产品解决方案设计，支持项目招投标工作； \n2. 将大数据AI产品/方案的销售技巧宣讲给销售、售前团队； \n3. 参加行业大会，进行大数据及AI产品布道、用户教育、客户沟通等工作； \n4. 协助产品管理团队收集市场信息、客户需求和用户反馈； \n5. 和研发团队紧密合作，确保客户项目按时按质完成。\n岗位要求： \n1. 对云计算、大数据、人工智能相关技术有深刻的理解，具备大数据、人工智能、机器学习及相关行业应用的相关专业背景或工作经验优先； \n2. 5年以上相关工作经验（售前），3年以上大型客户项目实施经验； \n3. 具备优秀的沟通能力，能充分理解客户需求并制定解决方案； \n4. 熟悉大型分布式数据系统架构的设计经验，精通一种或多种数据仓库、Hadoop、NoSQL等相关技术； \n5. 熟悉AI相关技术框架、算法和应用场景； \n6. 熟悉人脸识别、图像识别、语音识别、NLP、智能问答等AI技术中的一项或几项； \n7. 熟悉国内外流行的大数据和AI产品或服务； \n8. 熟悉容器、DevOps、Kubernetes、CD/CI、Cloud Native Apps等概念和技术的优先； \n9. 熟悉云计算基础设施相关技术（IaaS）的优先； \n10. 有过AI或大数据领域大型客户项目交付实施经验，能做部署开发是额外加分项； \n11. 英语流利的优先；本科或以上计算机相关专业；30%差旅。 \n12.通过腾讯云技术认证或同等资格认证的优先录取。", "workAddr": "北京-海淀区-中关村-理想国际大厦", "origin": "拉钩网"} {"positionName": "大数据架构研发实习生", "companyName": "快手招聘", "companySize": "2000人以上", "industryField": "文娱丨内容", "financeStage": "D轮及以上", "companyLink": "https://www.kuaishou.com/", "city": "北京", "salary": "4k-6k", "workYear": "经验不限", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 带薪年假,年度体检,免费午餐,弹性工作", "jobDetail": "工作内容1、Hadoop生态子系统的研发、测试与优化改进工作，解决实际业务需求与性能问题。子系统包括但不限于HDFS，HBASE，YARN，SPARK，KAFKA、FLINK、DRUID等。\n2、承担数千台规模Hadoop集群的管理工作，解决超大规模Hadoop集群在应用与运行过程中的出现各种问题，保证集群的高效稳定运行。\n3、和开源社区保持交流，从社区引入对公司业务场景有帮助的特性与系统，或将内部研发的功能贡献到社区。\n任职要求：\n1、计算机或相关专业，本科及以上学历，每周至少4天，连续实习3个月以上。\n2、扎实的基础知识，如操作系统、计算机网络、计算机体系结构，熟悉数据结构与算法。\n3、熟悉java或C++等至少一种面向对象语言，工程质量自我要求高，比较强的程序设计与实现能力。\n4、思维活跃，熟悉Hadoop生态子系统尤佳。\n5、强烈的责任心，对工作有激情，良好的沟通能力。", "workAddr": "北京-海淀区-西二旗-上西路6号-快手总部", "origin": "拉钩网"} {"positionName": "技术经理（Java+大数据）", "companyName": "海致交付中心招聘", "companySize": "150-500人", "industryField": "移动互联网,企业服务", "financeStage": "C轮", "companyLink": "http://www.haizhi.com/", "city": "北京", "salary": "25k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 金融大数据 独角兽 择优转正", "jobDetail": "岗位职责：\n1、负责技术开发团队管理，执行项目计划并实现项目目标；\n2、负责业务需求分析和架构设计工作；\n3、负责核心业务功能编码、单元测试工作；\n4、负责制定编码规范、流程规范、文档规范等。\n\n任职要求：\n1、统招本科及以上学历，计算机相关专业；\n2、6年以上Java与大数据开发经验，2年以上架构及团队管理经验；\n3、有扎实的Java编程功底，熟悉JVM底层原理及性能调优，具备高并发应用编程能力；\n4、具备较强的Trouble Shooting能力；\n5、熟练掌握主流的微服务框架，如Spring Cloud、Duddo等；\n6、对Spark、HBase、Kafka、Elasticsearch、Hive、Yarn、Zookeeper等大数据组件原理有深入了解及优化经验，有阅读过源码者优先；\n7、具备较强的推进能力和责任心，优秀的沟通能力和团队精神，热爱技术工作。", "workAddr": "北京-石景山区-永乐-万达广场A座", "origin": "拉钩网"} {"positionName": "大数据开发高级工程师", "companyName": "玄吉信息技术研发招聘", "companySize": "15-50人", "industryField": "移动互联网", "financeStage": "C轮", "companyLink": "http://www.xjnetworks.com", "city": "北京", "salary": "18k-24k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 优秀的研发团队，良好的工作环境", "jobDetail": "岗位职责：\n1. 参与大数据平台架构建设\n2. 参与数据仓库的搭建和分层设计\n3. 负责大数据在线、离线分析，数据挖掘模型的建立、应用、监控和优化\n\n任职要求：\n1. 本科3年以上相关工作经验\n2. 熟悉Hadoop/Spark生态圈及环境搭建\n3. 熟悉ETL开发及流程\n4. 熟悉数据仓库的建设和大数据分析\n5. 熟悉Hive-SQL，Spark-SQL，Spark-Streaming，Scala语言\n6. 熟悉Hbase和Elasticsearch优先\n7. 能够独立产出数据报告，熟悉数据采集到报表展示的全流程", "workAddr": "北京-朝阳区-望京-望京", "origin": "拉钩网"} {"positionName": "数据仓库开发工程师", "companyName": "唱吧-玩音乐，就上唱吧！招聘", "companySize": "150-500人", "industryField": "移动互联网,游戏", "financeStage": "D轮及以上", "companyLink": "http://www.changba.com", "city": "北京", "salary": "25k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 年终奖 福利好 弹性工作时间", "jobDetail": "岗位职责： 1. 关注数据变化，负责数据仓库ETL开发，参与团队ETL流程的优化以及相关技术问题的解决； 2. 理解业务需求，建设面向主题的数据集市，支持公司的BI指标； 3. 参与唱吧实时/离线数据平台相关数据开发和管理工作； 4. 跟进数仓技术的演进，推动相关应用落地。 职位要求 1. 计算机/通信/电子/数学/物理等相关专业本科及以上学历 2. 具备数据仓库理论基础，在数据仓库相关领域有3年以上工作经验，在数据治理方面有一定产品化经历； 3. 熟悉数据仓库模型设计方法论，了解数据仓库数据分层架构，精通3NF和多维数据模型设计; 4. 熟悉仓库建设相关的技术栈，包括且不限于：SQL，Hive，Hadoop/Spark，Flume，Kafka，HBase等，精通HiveSQL优先； 5. 至少掌握一门开发语言，包括且不限于：JAVA、Python、Scala、PHP等，掌握UDF和Map-Reduce开发； 6. 具备数据挖掘和机器学习算法应用经验优先； 7. 具备良好的语言沟通、表达能力和学习能力；", "workAddr": "北京-朝阳区-太阳宫中路12A号太阳宫大厦21层", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "弘康人寿招聘", "companySize": "150-500人", "industryField": "金融", "financeStage": "不需要融资", "companyLink": "http://www.hongkang-life.com", "city": "北京", "salary": "12k-20k", "workYear": "经验1-3年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金,节日福利", "jobDetail": "职责描述： \n1、负责基于Hadoop、Spark平台的海量数据处理、数据计算、数据开发。\n2、负责高并发、高可用性、高可扩展性的线上数据系统开发。\n3、负责数据挖掘应用服务开发和数据挖掘算法研究和应用。\n4、负责数据产品和数据项目的相关开发支持。\n5、负责垂直领域的数据探索，价值数据提取。\n\n任职要求： \n1、计算机及相关专业本科及以上学历；\n2、精通java和scala开发技术，熟练掌握多进程/多线程开发，熟悉常用设计模式；\n3、熟练掌握ElasticSearch、Hadoop、Spark、Sqoop、Kafka、HBase、Impala、Kudu等大数据开发技术，进行过大数据项目实践；\n4、有机器学习、数据挖掘、推荐系统经验者优先；\n5、具有分布式计算/搜索引擎/广告引擎等后台开发经验者优先；\n6、对技术有激情、有追求；富于技术创新精神，勇于解决技术难题", "workAddr": "北京-朝阳区-大望路-建国路甲92号世茂大厦B座14层", "origin": "拉钩网"} {"positionName": "大数据开发实习生（21届） (M...", "companyName": "袋鼠云金融零售事业部招聘", "companySize": "150-500人", "industryField": "数据服务", "financeStage": "B轮", "companyLink": "http://www.dtstack.com/", "city": "北京", "salary": "3k-4k", "workYear": "经验应届毕业生", "education": "学历不限", "jobNature": "实习", "positionAdvantage": "职位诱惑：\n 大数据；云计算；双休；餐补", "jobDetail": "1、根据客户的需求，能基于大数据平台完成相应的场景需求开发；\n2、能在项目技术leader带领下完成数据加工、清洗、处理程序的开发\n\n技术要求：\n1、21届计算机、软件或相关专业，本科及以上学历，基础扎实\n2、熟悉java/scala/python至少一门语言，有大数据开发经验优先；\n3、熟悉hadoop/hbase/flink/spark等分布式大数据技术体系；\n4、了解myql,es,hbase,redis等存储引擎的数据存储及使用方法；\n5、使用spark streaming和spark sql进行数据处理的经验，有flink实时处理经验者优先；\n6、对数据敏感，有良好的沟通表达能力和跨团队协调能力，乐于寻求挑战和突破自我。", "workAddr": "北京-朝阳区-大山子-酒仙桥路恒通商务园B10-3楼", "origin": "拉钩网"} {"positionName": "大数据架构师", "companyName": "用友招聘", "companySize": "2000人以上", "industryField": "企业服务", "financeStage": "上市公司", "companyLink": "http://www.yonyou.com", "city": "北京", "salary": "30k-60k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金,绩效奖金,免费班车,餐补", "jobDetail": "岗位职责：\n1、负责用友财务领域大数据平台的架构设计与研发，完成对复杂系统的分析、数据流建模，完成各环节的架构设计；\n2、持续优化并改进现有技术架构，保证高可用、稳定、低延迟的服务体验；\n3、负责服务端的开发和系统架构；\n4、协助业务方梳理业务需求，发现并解决系统的重大故障及性能瓶颈 ，提供业务规划方案、架构设计方案。\n任职要求：\n1、 5 年以上研发相关工作经验，技术架构能力强，有大数据平台架构经验者优先，有3年以上大型互联网平台研发经验者优先；\n2、计算机、应用数学相关学科统招本科以上学历；\n3、 Java基础扎实，深入掌握 IO、多线程、集合、JVM等内容, 熟练掌握Spring Boot、MyBatis等技术框架；\n4、熟悉大数据相关平台及技术栈；\n5、深入理解常用的缓存中间件如Redis，具备分布式缓存设计经验者优先；\n6、熟悉分布式消息（ RocketMQ / RabbitMQ / Kafka 等）并有优化经验；\n7、熟悉 MySQL 数据库及原理，熟练使用 SQL 语句及优化，对数据库事务、锁、索引有深入理解；\n8、熟悉分库分表组件(Mycat、DBLE、Sharding-JDBC)，有实际分库分表经验优先；\n9、具备较强的问题解决能力，逻辑思维能力强，能独立解决问题；具备良好的责任心和团队精神；\n10、具有一定的项目规划和决策能力，善于捕捉业务需求、架构设计中存在的问题，并给出有效的解决措施和方法。", "workAddr": "北京-海淀区-北京市海淀区北清路68号用友软件园", "origin": "拉钩网"} {"positionName": "大数据平台需求工程师", "companyName": "德特赛维研发部招聘", "companySize": "50-150人", "industryField": "数据服务,通讯电子", "financeStage": "未融资", "companyLink": "https://www.lagou.com/gon...", "city": "北京", "salary": "10k-18k", "workYear": "经验1-3年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 高薪、股权、补充商业险、晋升空间大", "jobDetail": "岗位职责 ：\n1. 行业数据分析类应用的需求调研，行业数据分析类应用的方案规划等，跟进评估产品开发的进度和用户体验；\n2. 负责对平台的需求研发和平台“可维可测”点设计。指导平台研发人员完成需求还原；\n3. 负责维系客户需求与需求实现之间的关系，平衡投入成本与收益关系；\n4. 对工程师团队实施的数据模型，进行数据有效性验证，确保数据模型的正确性；\n5. 负责项目方案的讲解和大型项目解决方案顾问式售前支持，配合公司市场的推广，主题演讲与系统演示，参与投标等。\n岗位要求：\n1. 2年以上BI产品或大数据平台产品的需求经理、研发项目经理、开发及解决方案工作经验；\n2. 熟悉数据采集、数据管理、数据服务、数据应用等业务流程，熟悉数据中心总体设计；\n3. 熟练掌握至少一种数据建模工具；熟练掌握SQL语言，有较强的SQL开发能力；\n4. 熟练掌握至少一种产品原型设计工具；熟练掌握至少一种主流报表开发工具；\n5. 逻辑思维能力强，能快速掌握新知识；赋有团队合作精神和良好的沟通能力；\n6. 对IT技术、软件工程、项目管理有一定的了解；具备良好的解决方案、客户报告、商务分析等文稿的写作能力；善于倾听，有效说服，演讲流利；具备较好的结构化思维、沟通表达、观察洞悉能力；\n7. 编程技巧（语言不限）；\n8. 能够承受一定工作压力。", "workAddr": "北京-西城区-西直门-西直门内大街118号冠华大厦", "origin": "拉钩网"} {"positionName": "大数据事业部项目开发部咨...", "companyName": "西藏嗨球科技有限公司大数据事业部项目开发部招聘", "companySize": "50-150人", "industryField": "移动互联网", "financeStage": "A轮", "companyLink": "www.haiqiu.com", "city": "北京", "salary": "16k-25k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 14薪；五险一金；带薪年假；餐补", "jobDetail": "岗位职责：\n1、快速、深入的理解大数据事业部整体战略及规划；\n2、定期评估事业部战略规划实施情况，编写战略实施报告，提出改进方案并持续跟进；\n3、研究外部战略合作企业特点、分析内外部资源，将各方资源特点与事业部及公司的战略发展有效结合，提出合作落地方案建议，编制战略合作实施报告；\n4、结合集团企业特点及事业部业务发展需要，以整体战略为指导，为企业提供必要的战略规划服务。\n岗位要求：\n1、大学本科以上学历，计算机及相关专业毕业，3年以上战略咨询、或战略规划项目经验；\n2、逻辑严谨、思维清晰、擅于快速掌握需求形成整体解决方案；\n3、有较高的市场敏感度，对于市场环境及变化有快速的判断及积极的反应；\n4、文档编写能力出色，兼具优秀的表达及学习能力；\n5、熟悉战略咨询方法论，有大数据行业战略咨询顾问经验优先考虑；\n6、能力出众者薪酬可谈。", "workAddr": "北京-朝阳区-望京-朝阳区利泽东街5号中护航大厦（爱立信电信大厦）1号楼B座3层", "origin": "拉钩网"} {"positionName": "大数据研发总监", "companyName": "人民日报媒体技术招聘", "companySize": "150-500人", "industryField": "移动互联网", "financeStage": "未融资", "companyLink": "http://www.pdmi.cn/", "city": "北京", "salary": "20k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金,年终奖，绩效奖,定期体检", "jobDetail": "岗位职责：\n1、根据公司战略，与产品规划团队配合进行竞品分析，市场分析，大数据产品顶层设计并带领研发团队达成目标；\n2、负责大数据平台的数据架构设计、技术架构设计\n3、负责大数据研发团队管理\n4、优化数据应用算法：如用户画像、个性化推荐等\n岗位要求：\n1、本科五年工作经验及以上，有至少五年的大数据技术实践经验，有NLP相关经验；\n2、有很强的架构设计能力和良好的表达能力；\n3、精通Hadoop、Spark生态圈中的常用组件原理及应用；\n4、精通数据仓库的规划和设计；\n5、精通掌握Java或Python编程，有性能调优能力；\n6、熟悉NLP算法原理及应用；\n7、对新生事物或者新技术有浓厚兴趣，学习能力强。\n8、理解媒体业务者优先", "workAddr": "北京-朝阳区-水碓子-金台西路2号人民日报新媒体大厦", "origin": "拉钩网"} {"positionName": "大数据高级产品经理", "companyName": "彩讯股份业务一单元/终端公司项目招聘", "companySize": "500-2000人", "industryField": "移动互联网,消费生活", "financeStage": "上市公司", "companyLink": "http://www.richinfo.cn", "city": "北京", "salary": "13k-15k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金,双休,年终奖金,晋升空间", "jobDetail": "岗位职责：\n1、负责运营商DMP平台及相关大数据产品的整体规划设计，并推动产品落地交付。\n2、负责内外部数据资源整合，提出数据质量使用及优化方案，推动用户画像体系的建设及完善，为应用层提供数据产品支撑。\n3、负责运营商行业及大数据行业相关竞品分析及前沿性技术、产品的对标探索。\n4、负责大数据项目咨询规划、售前解决方案包装提炼并参与售前交流支撑，充分挖掘和引导客户需求，提供可落地方案。\n5、负责对外的数据交流与合作，包括制定推广方案、市场策略、活动策划、高端客户交流等。\n\n任职要求\n1、本科以上学历，5年运营商行业经验，3年以上大数据产品规划及行业解决方案或咨询顾问类工作经验。\n2、对运营商大数据增值变现有深刻的认知与理解，有2B类产品及运营推广经验优化。\n3、精通云计算、大数据整体架构、关键技术及未来发展趋势，熟悉云计算、大数据上下游产业链。\n4、具有出色的沟通理解能力、演讲交流能力、逻辑分析能力、战略化目光和创造性解决问题的能力。\n5、有强烈的进取心和工作激情，勇于接受挑战，承受压力，以目标为导向，自我驱动型人才。", "workAddr": "北京-东城区-东四-朝阳门内大街296号瀚海科技大厦A座三层", "origin": "拉钩网"} {"positionName": "大数据工程师", "companyName": "半云科技招聘", "companySize": "150-500人", "industryField": "移动互联网", "financeStage": "天使轮", "companyLink": "www.bywin.cn", "city": "北京", "salary": "12k-24k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金 带薪年假 定期体检 节日福利", "jobDetail": "岗位职责：\n负责数据接入整合、纵向数据贯通，同时能基于大数据应用，开展数据挖掘算法开发。\n岗位要求：\n1、精通SQL语句，同时具备JAVA、Python等语言开发能力；\n2、熟悉阿里大数据组件开发流程；\n3、能够熟练使用DataWorksMaxCompute, DataWorks, StreamCompute，ECS， RDS等工具,能够基于该工具开展数据分析；\n4、能够熟练使用DataHub、DTS、Blink、Spark等阿里相关组件进行数据集成或开发，熟练使用OGG、Informatica ETL配置及开发；\n5、具有一定技术方案规划能力及文档编写能力；\n6、具有4年以上阿里云大数据开发工作经验；\n7、较好的沟通理解能力，性格乐观，态度踏实，积极上进；\n8、具备ACP大数据者优先。", "workAddr": "北京-朝阳区-建国门-建外soho东区2号楼902", "origin": "拉钩网"} {"positionName": "大数据应用分析产品经理", "companyName": "亿咖通科技云平台研发中心招聘", "companySize": "500-2000人", "industryField": "移动互联网,硬件", "financeStage": "不需要融资", "companyLink": "https://www.ecarx.com.cn/...", "city": "北京", "salary": "20k-30k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 补充商业险、带薪年假、工作氛围Nice", "jobDetail": "岗位职责：\n1.负责公司大数据平台的产品规划与设计工作（包括但不限于数据采集，治理、分析挖掘、数据应用等），收集用户/客户需求、进行市场和竞争分析、制定产品规划、设计产品功能、推进产品落地及迭代计划；\n2.与业务部门保持良好沟通，收集、分析大数据平台产品的用户反馈，把握业务需求与技术需求的平衡，促进大数据产品的良性迭代；\n3.深入了解车联网的应用场景及相关业务特点，对车辆产生的海量数据进行数据应用方向研究，设计数据分析挖掘方法；\n4.负责数据仓库和业务数据集市设计，数据标准定义，组织部门间对数据口径达成一致；负责仓库验收，数据字典建设与维护；\n5.研究数据挖掘模型，参与数据挖掘模型的构建、指标定义以及相关文档编写。\n任职要求：\n1. 大学本科以上学历，计算机、信息、数学、统计等相关专业本科及以上学历，5年及以上相关工作经历，车联网行业背景优先；\n2. 熟悉大数据领域生态环境，了解hadoop相关技术，熟悉数据采集、数据加工、数据消费、数据应用等；\n3. 具有良好的数据敏感度，熟练掌握SQL 语言或其他数据分析软件，能理解业界常用的预测模型、统计模型和数据挖掘算法的基本原理;\n5. 对新技术有持续的热情，对车联网、AI行业有强烈兴趣和好奇心，对数据驱动业务有深入理解，有较强的逻辑分析能力和独立思考能力；\n6. 适应创业公司氛围，良好的表达沟通和协作能力，自驱力强，对工作有责任感，能够在压力下工作，高效快速地应对变化。", "workAddr": "北京-朝阳区-望京-浦项中心", "origin": "拉钩网"} {"positionName": "数据平台开发工程师—基础研...", "companyName": "去哪儿网基础研发部招聘", "companySize": "2000人以上", "industryField": "旅游", "financeStage": "不需要融资", "companyLink": "http://www.qunar.com", "city": "北京", "salary": "25k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 十天年假、十天全薪病假", "jobDetail": "岗位职责：\n1.负责数据平台的设计与开发\n2.负责数据分析、BI系统等数据应用的可视化设计与开发\n\n岗位要求：\n1.三年以上系统平台开发经验，对技术有浓厚兴趣，适应能力强\n2.java基础扎实，熟悉spring、ibatis等框架以及dubbo、mq等中间件\n3.精通js/h5/css等基础，熟悉canvas、echarts、d3.js等可视化技术，对主流前端开发框架有深入了解，有react实际项目经验者优先\n4.良好的沟通能力和团队协作精神，严谨、踏实的工作态度与高质量意识；", "workAddr": "北京-海淀区-万泉河-苏州街29号院18号楼维亚大厦", "origin": "拉钩网"} {"positionName": "大数据和人工智能（高级）架...", "companyName": "腾讯招聘", "companySize": "2000人以上", "industryField": "社交", "financeStage": "上市公司", "companyLink": "http://hr.tencent.com", "city": "北京", "salary": "25k-50k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 创新领域", "jobDetail": "岗位职责： \n1. 负责大数据和AI的产品解决方案设计，支持项目招投标工作； \n2. 将大数据AI产品/方案的销售技巧宣讲给销售、售前团队； \n3. 参加行业大会，进行大数据及AI产品布道、用户教育、客户沟通等工作； \n4. 协助产品管理团队收集市场信息、客户需求和用户反馈； \n5. 和研发团队紧密合作，确保客户项目按时按质完成。\n岗位要求： \n1. 对云计算、大数据、人工智能相关技术有深刻的理解，具备大数据、人工智能、机器学习及相关行业应用的相关专业背景或工作经验优先； \n2. 5年以上相关工作经验（售前），3年以上大型客户项目实施经验； \n3. 具备优秀的沟通能力，能充分理解客户需求并制定解决方案； \n4. 熟悉大型分布式数据系统架构的设计经验，精通一种或多种数据仓库、Hadoop、NoSQL等相关技术； \n5. 熟悉AI相关技术框架、算法和应用场景； \n6. 熟悉人脸识别、图像识别、语音识别、NLP、智能问答等AI技术中的一项或几项； \n7. 熟悉国内外流行的大数据和AI产品或服务； \n8. 熟悉容器、DevOps、Kubernetes、CD/CI、Cloud Native Apps等概念和技术的优先； \n9. 熟悉云计算基础设施相关技术（IaaS）的优先； \n10. 有过AI或大数据领域大型客户项目交付实施经验，能做部署开发是额外加分项； \n11. 英语流利的优先；本科或以上计算机相关专业；30%差旅。 \n12.通过腾讯云技术认证或同等资格认证的优先录取。", "workAddr": "北京-海淀区-中关村-理想国际大厦", "origin": "拉钩网"} {"positionName": "大数据架构师（北京） (MJ000...", "companyName": "袋鼠云政企事业部招聘", "companySize": "150-500人", "industryField": "数据服务", "financeStage": "B轮", "companyLink": "http://www.dtstack.com/", "city": "北京", "salary": "20k-40k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 阿里系创业、云计算生态、餐补、双休", "jobDetail": "职位诱惑：挑战，激情，技术大牛，扁平管理，弹性工作\n1、负责数据中台项目规划、技术架构等工作，包括数据采集、模型、网络、安全、质量等架构设计；\n2、和产品经理一起推进项目需求落地，将业务和产品需求转变成为技术实现方案；\n3、深入理解产品的需求、场景，参与核心模块代码开发；\n4、协同开发工作，确保项目开发的正常进行；\n5、作为关键技术攻坚人员，解决重大项目的技术疑难问题。并能有效地对新人进行辅导，带领团队快速提升；\n6、能从技术视角对项目边界、项目投入成本给出合理判断，控制项目风险。\n \n 岗位要求：\n1、本科及以上学历，5年及以上大数据开发经验，精通数据建模理论，丰富的数据仓库设计和大数据项目实施经验；\n2、熟悉常见的关系型、非关系型数据库的使用，熟悉分布式计算框架Hadoop/Spark/Fink中的至少一种，有Flink开发经验优先考虑，熟悉大数据其他技术栈；\n3、Java/Python等开发语言至少掌握一种；\n4、具有良好的沟通、组织能力，强烈的进取心和优秀团队合作精神，接受出差。", "workAddr": "北京-通州区-潞城-运河东大街57号北京市人民政府", "origin": "拉钩网"} {"positionName": "数据中台测试开发工程师/专...", "companyName": "快手研发线-质量与研发效能部招聘", "companySize": "2000人以上", "industryField": "文娱丨内容", "financeStage": "D轮及以上", "companyLink": "https://www.kuaishou.com/", "city": "北京", "salary": "25k-50k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金,免费食堂,免费健身", "jobDetail": "职位描述1. 主要负责快手大数据产品相关的测试和质量保证工作；2. 根据数据产品需求和设计，进行需求分析，并制定测试计划、设计测试数据和测试用例，执行测试用例，能够快速定位和解决问题；3. 对线上问题进行持续追踪，并从中得出一些优化监控、测试方案/框架提升等改进措施；4. 在项目中积极与产品经理、开发工程师和用户进行有效沟通，推动问题及时合理地解决。任职要求1. 本科以上（包含本科）学历 ，3年以上测试开发经验；2. 具有良好的沟通能力和团队合作精神、快速的学习能力、执行力强、工作责任心强；3. 熟练运用Java语言，熟悉常用web前端开发框架，如React，Spring Boot等；4. 熟悉常用的Java和Web测试框架，有复杂系统的测试经验；5. 熟悉常用的自动化测试工具，有能力改进和研发自动化测试工具。 符合以下条件优先： \n对性能测试/稳定性测试/兼容性测试等有独到见解；有数据产品测试和研发经验；有数据仓库建设相关经验。", "workAddr": "北京-海淀区-西二旗-快手总部", "origin": "拉钩网"} {"positionName": "大数据运维工程师（北京）", "companyName": "德特赛维研发部招聘", "companySize": "50-150人", "industryField": "数据服务,通讯电子", "financeStage": "未融资", "companyLink": "https://www.lagou.com/gon...", "city": "北京", "salary": "12k-18k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 五险一金、周末双休，定期体检，年终奖", "jobDetail": "岗位职责：\n1.负责大数据分析平台的系统部署、运行和系统维护工作；\n2.负责集群的稳定性维护、性能调优；\n3.负责大数据分析平台的系统监控、应急响应和故障排除；\n4.负责系统运维、监控、部署相关的功能开发和技术文档编写；\n5.负责开发运维工具。\n岗位要求：\n1.了解日志系统、监控告警系统、自动化技术平台，有相关开发经验优先；\n2.深入了解Linux系统，能独立部署开源软件，熟悉并掌握shell/python脚本语言；\n3.深入了解运维体系技术、熟悉容量规划，架构设计和性能优化；\n4.参与数据平台的相关工具开发；\n5、懂信息技术安全者优先考虑。", "workAddr": "北京-西城区-西直门-西直门内大街118号冠华大厦", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "人民日报媒体技术招聘", "companySize": "150-500人", "industryField": "移动互联网", "financeStage": "未融资", "companyLink": "http://www.pdmi.cn/", "city": "北京", "salary": "16k-22k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金,年终奖，绩效奖,定期体检", "jobDetail": "岗位职责：\n1、负责基于Hadoop/Flink等生态系统建设小赢大数据基础平台，包括但不限于基础集群的搭建与维护、离线计算平台、实时流计算平台、模型算法平台的架构与研发；\n2、深入了解业务背景，能抽象业务需求，对数据应用提供数据存储、数据服务、查询引擎、元数据管理的架构设计\n3、系统核心部分代码编写、指导和培训工程师、不断进行系统优化；\n4、跨团队/部门协作，系统分析并解决各类大数据平台相关的运行或数据问题；\n5、打造有行业竞争力的系统，能够支撑快速发展的数据业务。\n任职资格：\n1、本科及以上学历，3~8年或以上的大数据从业经验。\n2、有大型分布式系统设计经验，负责过海量数据平台上高可用、高性能分布式系统的架构设计。\n3、精通任意一门编程语言，对大数据基础架构和平台底层原理有深度理解和丰富开发经验, 对复杂系统的性能优化和稳定性提升有一线实战经验，具备相关产品（Hadoop、Hive、HBase、Kafka、Flink、Kylin等）项目应用研发经验；对开源社区有贡献者优先；\n4、熟悉分布式存储和NoSQL数据库技术（如HBase、Cassandra、Redis等），有实际生产项目应用经验；\n5、具有一定的项目规划和决策能力，善于捕捉业务需求、架构设计存在的问题，并给出有效的解决措施和方法；\n6. 工作有计划性，责任心和执行能力强，具备高度的责任心、诚信的工作作风、优秀沟通能力及团队精神。", "workAddr": "北京-朝阳区-水碓子-金台西路2号人民日报新媒体大厦", "origin": "拉钩网"} {"positionName": "大数据应用分析产品经理", "companyName": "亿咖通科技云平台研发中心招聘", "companySize": "500-2000人", "industryField": "移动互联网,硬件", "financeStage": "不需要融资", "companyLink": "https://www.ecarx.com.cn/...", "city": "北京", "salary": "20k-30k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 补充商业险、带薪年假、工作氛围Nice", "jobDetail": "岗位职责：\n1.负责公司大数据平台的产品规划与设计工作（包括但不限于数据采集，治理、分析挖掘、数据应用等），收集用户/客户需求、进行市场和竞争分析、制定产品规划、设计产品功能、推进产品落地及迭代计划；\n2.与业务部门保持良好沟通，收集、分析大数据平台产品的用户反馈，把握业务需求与技术需求的平衡，促进大数据产品的良性迭代；\n3.深入了解车联网的应用场景及相关业务特点，对车辆产生的海量数据进行数据应用方向研究，设计数据分析挖掘方法；\n4.负责数据仓库和业务数据集市设计，数据标准定义，组织部门间对数据口径达成一致；负责仓库验收，数据字典建设与维护；\n5.研究数据挖掘模型，参与数据挖掘模型的构建、指标定义以及相关文档编写。\n任职要求：\n1. 大学本科以上学历，计算机、信息、数学、统计等相关专业本科及以上学历，5年及以上相关工作经历，车联网行业背景优先；\n2. 熟悉大数据领域生态环境，了解hadoop相关技术，熟悉数据采集、数据加工、数据消费、数据应用等；\n3. 具有良好的数据敏感度，熟练掌握SQL 语言或其他数据分析软件，能理解业界常用的预测模型、统计模型和数据挖掘算法的基本原理;\n5. 对新技术有持续的热情，对车联网、AI行业有强烈兴趣和好奇心，对数据驱动业务有深入理解，有较强的逻辑分析能力和独立思考能力；\n6. 适应创业公司氛围，良好的表达沟通和协作能力，自驱力强，对工作有责任感，能够在压力下工作，高效快速地应对变化。", "workAddr": "北京-朝阳区-望京-浦项中心", "origin": "拉钩网"} {"positionName": "数据平台开发工程师—基础研...", "companyName": "去哪儿网基础研发部招聘", "companySize": "2000人以上", "industryField": "旅游", "financeStage": "不需要融资", "companyLink": "http://www.qunar.com", "city": "北京", "salary": "25k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 十天年假、十天全薪病假", "jobDetail": "岗位职责：\n1.负责数据平台的设计与开发\n2.负责数据分析、BI系统等数据应用的可视化设计与开发\n\n岗位要求：\n1.三年以上系统平台开发经验，对技术有浓厚兴趣，适应能力强\n2.java基础扎实，熟悉spring、ibatis等框架以及dubbo、mq等中间件\n3.精通js/h5/css等基础，熟悉canvas、echarts、d3.js等可视化技术，对主流前端开发框架有深入了解，有react实际项目经验者优先\n4.良好的沟通能力和团队协作精神，严谨、踏实的工作态度与高质量意识；", "workAddr": "北京-海淀区-万泉河-苏州街29号院18号楼维亚大厦", "origin": "拉钩网"} {"positionName": "大数据架构师", "companyName": "nice大数据招聘", "companySize": "150-500人", "industryField": "移动互联网,社交", "financeStage": "C轮", "companyLink": "http://www.oneniceapp.com", "city": "北京", "salary": "40k-60k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 弹性工作 租房 交通 午餐 通讯补贴", "jobDetail": "岗位职责：\n1、负责公司内部大数据存储计算平台等基础设施的搭建、维护、优化、改造；\n2、负责建设基础数据流程，并提供稳定的基础数据服务。\n\n职位要求：\n1、重点本科或本科以上学历，计算机相关专业，3年以上的大数据平台开发经验；\n2、有TB以上数据量的处理、优化经验优先；\n2、熟悉hadoop、spark、hive等，对hadoop等源码有研究者优先；\n3、工程能力强，基础扎实，熟悉java、python、shell、scala等；\n4、对技术有持续追求，强烈的技术领导力和责任心；\n5、优秀的分析问题和解决问题的能力，对解决挑战性问题充满激情。", "workAddr": "北京-朝阳区-三元桥-凤凰置A座18层", "origin": "拉钩网"} {"positionName": "大数据分析师（Olist）", "companyName": "Opera招聘", "companySize": "500-2000人", "industryField": "移动互联网", "financeStage": "上市公司", "companyLink": "http://www.opera.com", "city": "北京", "salary": "15k-20k", "workYear": "经验1-3年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 弹性工作,千万级用户,发展空间大", "jobDetail": "岗位职责:\n\n1. BI支持： 提取业务核心指标，制定及完善数据报表，完整报表上线及维护；2. 业务分析： 对业务数据统计分析，探究问题原因，找出解决方案；3. 策略分析： 负责产品的策略、效果的分析，给出策略持续优化的意见;4. 数据需求： 响应运营、市场等部内的数据分析工作； \n任职资格:\n\n1. 本科以上学历，有1年以上相关工作经验；数学、统计学、计算机等相关专业优先；2. 具备大数据处理能力，熟悉运用hive、SQL、EXCEL、Java、Python等工具进行数据处理和分析；3. 对数据敏感，利用各种策略提升效果，设计与实现排序策略；4. 精通协同过滤/FM/LR/NN/LSTM等常见算法；5. 提升资讯CTR模型预估精度，数据分析，建模，特征工程； 6. 有机器学习算法优化理论的研究经验； 7. 有资讯产品CTR建模、用户体验建模、推荐算法经验者优先；", "workAddr": "北京-东城区-北京市东城区西总布胡同46号明阳国际中心B座", "origin": "拉钩网"} {"positionName": "数据平台开发工程师 (MJ000...", "companyName": "知乎技术中台招聘", "companySize": "500-2000人", "industryField": "社交", "financeStage": "D轮及以上", "companyLink": "http://www.zhihu.com", "city": "北京", "salary": "30k-60k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 带薪年假 补充医疗 弹性办公", "jobDetail": "负责公司大数据平台建设，设计有层次、灵活可扩展的平台架构\n 负责数据可视化平台的设计与优化，满足灵活的多维分析需求和稳定的报表需求\n 搭建公司统一的数据服务层，高效开放数仓生产的数据\n 设计和搭建公司通用数据集成服务建设，负责数据的落地和交换\n\n\n职位要求\n\n\n 有数据服务或者数据集成经验者优先\n 精通 Java 语言，熟悉 Java Web 开发框架\n 有至少 TB 以上级大数据处理经验，支撑过实际业务场景\n 编码能力强悍，熟悉 Flume，Spark，Kylin，Druid，Storm，Flink 等应用开发经验优先\n 善于沟通，具备优秀的产品嗅觉，优秀的技术与业务结合能力\n 3年以上相关工作经验", "workAddr": "北京-海淀区-五道口-学院路甲5号768创意园A座西区1-002", "origin": "拉钩网"} {"positionName": "高级大数据开发工程师", "companyName": "转转数据平台部招聘", "companySize": "500-2000人", "industryField": "移动互联网,消费生活", "financeStage": "B轮", "companyLink": "http://www.zhuanzhuan.com/", "city": "北京", "salary": "25k-50k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金,牛人共事,弹性工作,成长空间大", "jobDetail": "岗位职责1、基于海量日志及 hadoop 生态圈相关组件，开发大数据分析平台的后台服务，支持部门的数据统计、分析业务；2、构建基于spark/flink的实时数据处理平台，支撑上层业务使用，如：数据监控、日报展现、统计分析、接口调用等；3、负责海量的三方数据监控、统计与分析；4、高并发、海量数据场景下的数据接入基础服务、工具研发。\n任职资格1、熟练掌握 Java 编程语言、有一定的后台服务、工程开发经验，对Python、Linux shell熟悉者优先；2、熟悉 Hive、Spark、Flink 等hadoop生态圈大数据框架至少一种，并有相关的使用、开发经验；3、熟练掌握Java网络编程、多线程知识，并有相关实践经验者优先；4、具备一定 Android反编译、逆向工程、爬虫经验者优先；5、有一定Java web开发经验，熟悉 SpringBoot 开发流程并有相关项目经验优先；", "workAddr": "北京-海淀区-西小口路东升科技园", "origin": "拉钩网"} {"positionName": "大数据开发工程师", "companyName": "京东京东零售-平台业务中心-平台业务研发部招聘", "companySize": "2000人以上", "industryField": "电商", "financeStage": "上市公司", "companyLink": "www.jd.com", "city": "北京", "salary": "20k-35k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 数据量大、实时性高、技术栈丰富", "jobDetail": "工作内容和方向：\n1、基于Hive/Hadoop/Storm/Spark/Flink等计算框架，进行离线/实时业务数据开发。\n2、基于Hive/Presto/Impala/Clickhouse/ES/Kylin/Hbase等技术进行智能运营实时OLAP引擎核心能力建设。\n3、具备较强Java功底,熟练使用Redis。\n4、具备较强业务理解沟通能力，并能主导业务开发快速迭代。\n任职要求：\n1、本科及以上学历，计算机相关专业；\n2、熟练Java语言，有三年以上Java开发经验，对分布式有深刻理解。\n3、熟悉Hadoop/Storm/Hive/Hbase/Spark/Flink等分布式开源项目及其工作原理，并有实际开发经验。\n4、熟悉常用脚本语言Shell,Python等。\n5、有互联网或移动互联网公司背景优先。", "workAddr": "北京-朝阳区-北辰世纪中心A座6层", "origin": "拉钩网"} {"positionName": "资深广告大数据工程师", "companyName": "爱奇艺招聘", "companySize": "2000人以上", "industryField": "文娱丨内容", "financeStage": "上市公司", "companyLink": "http://www.iqiyi.com/", "city": "北京", "salary": "20k-40k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 发展空间大、季度奖金、领导nice", "jobDetail": "岗位职责：1、海量广告日志数据的收集、处理、报表计算及自动化任务管理及监控平台开发；2、实时广告数据计算系统开发，要求低延迟，高并发，精确一次，支持品牌，效果，RTB等多种业务； 3、广告数据分析查询引擎，要求秒级查询响应；4、自助大数据查询系统开发；5、广告数据指标建模及报表开发，业务运营分析。\n任职资格：\n1、较强的学习和动手能力，对大数据领域有兴趣；2、精通Java / Python其中之一，熟练使用shell脚本；3、精通一种大数据技术生态体系(批量或者实时均可)，有两年以上实际应用系统开发经验，例如，HDFS / MR / Hive / HBase, Kafka / SparkStreaming / ES；4、本科或本科以上学历，计算机/电子／通信／统计／数学相关专业优先。", "workAddr": "北京-海淀区-中关村-海淀北一街2号爱奇艺创新大厦", "origin": "拉钩网"} {"positionName": "大数据研发总监", "companyName": "亚朵集团产品研发中心招聘", "companySize": "2000人以上", "industryField": "旅游,消费生活", "financeStage": "不需要融资", "companyLink": "http://www.yaduo.com/", "city": "北京", "salary": "30k-50k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 技术氛围好", "jobDetail": "岗位职责：\n1、 负责设计、建立、完善适应移动互联网平台的数据挖掘、分析和运营模式，支持产品、市场、运营等业务部门；\n2、 负责大数据应用解决方案、技术研发及管理工作，带领团队完成算法及框架设计；\n3、 负责建设人群数据库，应用到各个项目中；\n4、 切实提高团队成员的技术能力，实现共成长。\n\n任职资格：\n1、 计算机，数据，统计学本科及以上学历；\n2、 6 年以上互联网平台大数据业务工作经验，3 年以上团队管理经验；\n3、 熟练应用 Hadoop 大数据生态工具，有海量数据处理者优先；\n4、 深入理解互联网，熟悉数据仓库数据挖掘技术，分布式计算技术理论，具有大数据应用。", "workAddr": "北京-朝阳区-望京soho", "origin": "拉钩网"} {"positionName": "数据开发实习生", "companyName": "自如网数据中台中心招聘", "companySize": "2000人以上", "industryField": "房产家居", "financeStage": "A轮", "companyLink": "http://www.ziroom.com", "city": "北京", "salary": "3k-5k", "workYear": "经验应届毕业生", "education": "本科及以上", "jobNature": "实习", "positionAdvantage": "职位诱惑：\n 六险一金、周末双休、租房优惠", "jobDetail": "【岗位职责】1、参与数据处理、分析，建立指标体系，提供决策支持2、参与数据中台相关的数据产品研发工作【任职资格】1、统计、计算机相关专业本科及以上学历。2、熟悉SQL、Hive等数据库查询及分析工具。3、有一定数理统计知识，能使用Python进行数据分析、挖掘和可视化；4、良好的逻辑思维能力、沟通能力和团队合作精神。5、有数据分析师/数据工程师相关岗位工作经验的优先6、有前端开发工作经验的优先", "workAddr": "北京-朝阳区-酒仙桥-酒仙桥将台路5号普天实业科技园16号楼", "origin": "拉钩网"} {"positionName": "数据中台测试开发工程师 -【...", "companyName": "快手研发线-质量与研发效能部招聘", "companySize": "2000人以上", "industryField": "文娱丨内容", "financeStage": "D轮及以上", "companyLink": "https://www.kuaishou.com/", "city": "北京", "salary": "20k-30k", "workYear": "经验3-5年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 平台大,福利好", "jobDetail": "职位描述\n1、主要负责快手大数据产品相关的测试和质量保证工作；\n2、根据数据产品需求和设计，进行需求分析，并制定测试计划、设计测试数据和测试用例，执行测试用例，能够快速定位和解决问题；\n3、对线上问题进行持续追踪，并从中得出一些优化监控、测试方案/框架提升等改进措施；\n4、在项目中积极与产品经理、开发工程师和用户进行有效沟通，推动问题及时合理地解决。\n\n\n任职要求\n1、本科以上（包含本科）学历 ，3年以上测试开发经验；\n2、具有良好的沟通能力和团队合作精神、快速的学习能力、执行力强、工作责任心强；\n3、熟练运用Java语言，熟悉常用web前端开发框架，如React、Spring Boot等；\n4、熟悉常用的Java和Web测试框架，有复杂系统的测试经验；\n5、熟悉常用的自动化测试工具，有能力改进和研发自动化测试工具；\n\n符合以下条件优先:\n1、对性能测试/稳定性测试/兼容性测试等有独到见解；\n2、有数据产品测试和研发经验；\n3、有数据仓库建设相关经验。", "workAddr": "北京-海淀区-西二旗-快手总部", "origin": "拉钩网"} {"positionName": "大数据开发实习生 (MJ004488)", "companyName": "去哪儿网机票目的地事业群招聘", "companySize": "2000人以上", "industryField": "旅游", "financeStage": "不需要融资", "companyLink": "http://www.qunar.com", "city": "北京", "salary": "3k-4k", "workYear": "经验应届毕业生", "education": "学历不限", "jobNature": "实习", "positionAdvantage": "职位诱惑：\n 一对一指导", "jobDetail": "工作职责：\n1、基于PB级别数据和上万张表的复杂业务来建设、优化机票数据仓库\n2、参与数据底层的工具、平台等技术体系的建设与研发\n3、根据不同业务场景，能够及时、准确的构建业务指标数据\n \n岗位要求：\n1、计算机相关专业本科或研究生在校生\n2、熟悉SQL，了解大数据开源工具HDFS、Spark、Kafka、Hive、Sqoop等；\n3、熟悉yarn、shuffle的机制，能够对一些常见的hive问题进行优化\n4、至少熟练使用Shell/Python/java一种，有过web开发经验优先\n5、业务理解力强，对数据、新技术敏感，对大数据技术充满热情\n6、积极乐观、诚信、有责任心；具备强烈的进取心、求知欲及团队合作精神\n7、实习期6个月以上，一周4天以上", "workAddr": "北京-海淀区-万泉河-苏州街29号院18号楼维亚大厦", "origin": "拉钩网"} {"positionName": "高级数据仓库开发工程师", "companyName": "nice技术招聘", "companySize": "150-500人", "industryField": "移动互联网,社交", "financeStage": "C轮", "companyLink": "http://www.oneniceapp.com", "city": "北京", "salary": "30k-55k", "workYear": "经验5-10年", "education": "本科及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 弹性工作 租房 交通 午餐 通讯补贴", "jobDetail": "岗位职责：\n 1、负责核心数据仓库开发工作（业务梳理、宽表建模、数据治理），实现高质量数据的互通与共享；\n 2、负责商业智能数据报表，参与数据产品与应用的数据研发，发掘数据商业价值。\n\n 任职要求：\n 1、重点本科或本科以上学历，计算机相关专业，有3年以上的数据开发工作经验；\n 2、扎实的数据仓库理论基础，熟悉数据仓库模型设计，对各建模方法有深入的了解；\n 3、深入理解数据仓库理论、体系架构、数据架构、模型设计、元数据管理及数据质量控制；\n 4、熟悉java/scala/python等一种或多种语言，精通SQL；\n 5、有互联网电商数据仓库经验，熟悉Hadoop生态系统者优先；\n 6、具备较好沟通协调能力，主动建立与业务的紧密合作，推动业务升级。", "workAddr": "北京-朝阳区-三元桥-凤凰置A座18层", "origin": "拉钩网"} {"positionName": "广告数据开发工程师（实时数据）", "companyName": "爱奇艺招聘", "companySize": "2000人以上", "industryField": "文娱丨内容", "financeStage": "上市公司", "companyLink": "http://www.iqiyi.com/", "city": "北京", "salary": "30k-50k", "workYear": "经验3-5年", "education": "硕士及以上", "jobNature": "全职", "positionAdvantage": "职位诱惑：\n 六险一金、发展空间", "jobDetail": "岗位职责：\n1、海量广告日志数据的收集、处理、报表计算及自动化任务管理及监控平台开发；2、广告数据实时/流计算平台设计、开发与调优，要求低延迟，高并发，精确一次，支持品牌，效果，RTB等多种业务 ；3、负责实时/流计算平台线上运维、保障系统稳定和高可用，解决大并发下的各种问题。\n\n任职要求:\n1、较强的学习和动手能力，对大数据领域有兴趣；2、两年流计算应用开发或流计算平台开发相关经验；3、精通Flink、Spark Streaming任意一项，熟悉Kafka、kudu底层机制；4、精通Java，熟悉Scala语言；5、本科或本科以上学历，计算机/电子／通信／统计／数学相关专业优先，有广告相关背景优先。\n\n温馨提醒： 如果 7 天内您没有收到爱奇艺的面试邀请，那么目前我们不会安排您参加后续的面试环节，感谢您的理解和对爱奇艺的关注与认可", "workAddr": "北京-海淀区-中关村-海淀北一街2号爱奇艺创新大厦", "origin": "拉钩网"} {"positionName": "数据开发实习生", "companyName": "自如网数据中台中心招聘", "companySize": "2000人以上", "industryField": "房产家居", "financeStage": "A轮", "companyLink": "http://www.ziroom.com", "city": "北京", "salary": "3k-5k", "workYear": "经验应届毕业生", "education": "本科及以上", "jobNature": "实习", "positionAdvantage": "职位诱惑：\n 六险一金、周末双休、租房优惠", "jobDetail": "【岗位职责】1、参与数据处理、分析，建立指标体系，提供决策支持2、参与数据中台相关的数据产品研发工作【任职资格】1、统计、计算机相关专业本科及以上学历。2、熟悉SQL、Hive等数据库查询及分析工具。3、有一定数理统计知识，能使用Python进行数据分析、挖掘和可视化；4、良好的逻辑思维能力、沟通能力和团队合作精神。5、有数据分析师/数据工程师相关岗位工作经验的优先6、有前端开发工作经验的优先", "workAddr": "北京-朝阳区-酒仙桥-酒仙桥将台路5号普天实业科技园16号楼", "origin": "拉钩网"}
2.2. Flume-1.8.0采集数据到Kafka
-
配置文件
position-infos.confa1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = TAILDIR a1.sources.r1.positionFile = /home/hadoop/fanjh/flume/logfile_stats/taildir_position.json a1.sources.r1.filegroups = f1 a1.sources.r1.filegroups.f1 = /home/hadoop/fanjh/data/flume_data/.*txt a1.sources.r1.fileHeader = true # Describe the sink a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.bootstrap.servers= 192.168.1.23:9091,192.168.1.24:9091,192.168.1.25:9091 a1.sinks.k1.kafka.topic= xiaofanPositionInfos a1.sinks.k1.serializer.class=kafka.serializer.StringEncoder a1.sinks.k1.kafka.producer.acks=1 a1.sinks.k1.custom.encoding=UTF-8 # Use a channel which buffers events in memory a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
2.3. kafka创建topic
bin/kafka-topics.sh --create --bootstrap-server 192.168.1.25:9091 --replication-factor 2 --partitions 3 --topic xiaofanPositionInfos
- 启动flume，进行测试
bin/flume-ng agent -c conf -f conf/position-infos.conf -n a1 -Dflume.root.logger=INFO,console
3. Flink消费kafka中的数据到hbase流模式
package com.xiaofan.flink_demo.hbase
import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkFunction}
import org.apache.hadoop.hbase.client._
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.hbase.{HBaseConfiguration, HConstants, TableName}
/**
* @Author: 小范
* @Date: 2020/06/03 18:20
*
* 写入HBase
* 第一种：继承RichSinkFunction重写父类方法
*
* 注意：由于flink是一条一条的处理数据，所以我们在插入hbase的时候不能来一条flush下，
* 不然会给hbase造成很大的压力，而且会产生很多线程导致集群崩溃，所以线上任务必须控制flush的频率。
*
* 解决方案：我们可以在open方法中定义一个变量，然后在写入hbase时比如2000条flush一次，或者加入一个list，判断list的大小满足某个阀值flush一下
*/
class HBaseWriter extends RichSinkFunction[String]{
var conn: Connection = null
val scan: Scan = null
var mutator: BufferedMutator = null
var count = 0
/**
* 建立HBase连接
* @param parameters
*/
override def open(parameters: Configuration): Unit = {
val config:org.apache.hadoop.conf.Configuration = HBaseConfiguration.create
config.set(HConstants.ZOOKEEPER_QUORUM, "192.168.1.23,192.168.1.24,192.168.1.25")
config.set(HConstants.ZOOKEEPER_CLIENT_PORT, "2181")
config.setInt(HConstants.HBASE_CLIENT_OPERATION_TIMEOUT, 30000)
config.setInt(HConstants.HBASE_CLIENT_SCANNER_TIMEOUT_PERIOD, 30000)
conn = ConnectionFactory.createConnection(config)
val tableName: TableName = TableName.valueOf("test_table_2")
val params: BufferedMutatorParams = new BufferedMutatorParams(tableName)
//设置缓存1m，当达到1m时数据会自动刷到hbase
params.writeBufferSize(1024 * 1024) //设置缓存的大小
mutator = conn.getBufferedMutator(params)
count = 0
}
/**
* 处理获取的hbase数据
* @param value
* @param context
*/
override def invoke(value: String, context: SinkFunction.Context[_]): Unit = {
val cf1 = "position_info"
val put: Put = new Put(Bytes.toBytes("000000" + count))
put.addColumn(Bytes.toBytes(cf1), Bytes.toBytes("lagou"), Bytes.toBytes(value))
mutator.mutate(put)
//每满2000条刷新一下数据
if (count >= 2000){
mutator.flush()
count = 0
}
count = count + 1
}
/**
* 关闭
*/
override def close(): Unit = {
if (conn != null) conn.close()
}
}
4. Hive2.3.2整合HBase2的环境配置以及测试
注意： 这里我们选用的版本为hive2.3.4和hbase2.1.4
4.1. 相关jar包获取；已兼容；提取码[itww]
4.2. 在hive中创建映射表
create table hive_hbase_test(key int,value string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,cf1:val") tblproperties("hbase.table.name"="hive_hbase_test");
注意
4.3. 查看映射表
- hive中的表结构
- hbase中的表结构
4.4. Hive Hbase测试
- hive写数据，查看hbase里面的情况（暂时没测，后续复测）
- hbase写数据，查看hive里面的情况 （测试通过）
说明:通过结合，可以设计一个高速写入，后面接入实时分析的海量数据分析系统。如果在hive中创建的映射表为外部表， 则表必须得在hbase中存在
5. 寄语：成功往往不是一蹴而就的，必须学会分解你的目标，逐步实施。
大数据从业者之家,一起探索大数据的无限可能！
更多推荐
1
0- 0
已为社区贡献1条内容
所有评论(0)