登录社区云，与社区用户共同成长
邀请您加入社区
一.引言在没有公库或相互协作时，项目需要导入现成的 jar 包，有两种方案，一种是一劳永逸型：即将 jar 包打入本地 maven 环境这样后续其他项目也可以使用，还有一种是只对当前项目生效，即将 jar 包放入项目 lib 包并用 pom 导入。二. 加入 maven 仓库1.加入仓库jar_path 为待加入 maven 仓库的 jar 包地址，groupId、artifactId 和 ver
数据库表结构2.最关键的就是这条sqlSELECT address_, longitude_, latitude_, ROUND(6378.138 * 2 * ASIN(SQRT(POW(SIN((? * PI() / 180 - latitude_ * PI() / 180) / 2), 2) + COS(? * PI() / 180) * COS(latitude_ ...
本节书摘来自华章出版社《Spark大数据分析：核心概念、技术及实践》一书中的第1章，第2节，作者穆罕默德·古勒（Mohammed Guller）更多章节内容可以访问云栖社区“华章计算机”公众号查看。Scala编程Scala是当前热门的现代编程语言之一。它是编程语言界的凯迪拉克。它是一门强大且优美的语言。学会了它，对你的职业生涯大有裨益。用不同的编...
此文章为转载，标记为原创是为了推荐到首页让很多其它人看到。原作者如有意见请联系我立即删除。谢谢。上周发了一个阿里内推的帖子，没想到短时间内就收到了成百上千封简历。我仔细致细地看了每一封简历。附带有Github地址的我也点进去细致看了代码。终于我留下了30%的简历，并且这30%中仅仅有10%的本科生。全部通过内推初步筛选的小伙伴...
storm是grovvy写的kafka是scala写的storm-kafka storm连接kafka consumer的插件下载地址：https://github.com/wurstmeister/storm-kafka-0.8-plus除了需要storm和kafka相关jar包还需要google-collections-1.0.jar以及zookeeper相关包 cur...
一、spark简介Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎，Spark 是一种与 hadoop相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。二、spark编译为什么...
本章节根据源代码分析Spark Structured Streaming(Spark2.4)在进行DataSourceProvider查找的流程，首先，我们看下读取流数据源kafka的代码：SparkSession sparkSession = SparkSession.builder().getOrCreate();Dataset<Ro...
转载自：http://www.infoq.com/cn/news/2014/02/parse-announces-bolts数月前，Parse被Facebook收购。最近，它开源了一个面向iOS和Android的底层库集合，统称为Bolts。根据Parse的公告，Bolts是Parse和Facebook共同努力将两家公司各自独立开发的小型底层工具类合并的结果。Tasks...
本节书摘来自华章出版社《循序渐进学Spark 》一书中的第1章，第3节，作者 小象学院 杨 磊，更多章节内容可以访问云栖社区“华章计算机”公众号查看。Spark机制原理本书前面几章分别介绍了Spark的生态系统、Spark运行模式及Spark的核心概念RDD和基本算子操作等重要基础知识。本章重点讲解Spark的主要机制原理，因为这是Spark程...
初期架构选型在2010年10月真正开始动手做知乎这个产品时，包含李申申在内，最初只有两位工程师；到2010年12月份上线时，工程师是四个。知乎的主力开发语言是Python。因为Python简单且强大，能够快速上手，开发效率高，而且社区活跃，团队成员也比较喜欢。知乎使用的是Tornado框架。因为它支持异步，很适合做实时Comet应用，而且简单轻量，学习成本低，再就是有Frie...
Spark2.4.0 SparkSession 源码分析更多资源github: https://github.com/opensourceteams/spark-scala-maven-2.4.0时序图前置条件Hadoop版本: hadoop-2.9.2Spark版本: spark-2.4.0-bin-hadoop2.7JDK.1.8...
在.Net Fringe 2016大会上，F#创建者Don Syme谈了他对F#现状的看法以及F#的二元性。F#是以一个为面向对象语言构建的运行时为基础构建的函数式语言。\\F#是2010年发布的，遵循开源许可协议。F#比.Net更早地踏上了开源之路，C#和.Net在2015年才开源。将F#开源主要是为了增加其公信力。那时，一门语言想要得到开发人员和企业的重视，开源是必须的。\\为.NET带来一门
Bazel是Googe旗下的一款构建系统工具，六个月前Google将其开源，目前取得里程碑式的进展，发布了其第一个beta版本，增加了对数种语言和技术的支持。\\Bazel是Google用来构建自己项目的内部Blaze系统，在一个巨大的工作空间累积了数以亿计的代码行。Bazel引入了Blaze的一切，除了对一些内部项目的依赖性，并且它缺乏对构建集群的支持。Bazel进行了性能、重现性和可扩展性的调
原文地址：Understanding Currying in JavaScript原文作者：Chidume Nnamdi译文出自：阿里云翻译小组译文链接：github.com/dawn-plex/t…译者：灵沼校对者：也树理解JavaScript的柯里化函数式编程是一种编程风格，它可以将函数作为参数传递，并返回没有副作用（改变程序状态）的函数许多计算机语言都采用了这种编程风...
Java 8 is a mature language and with more developers and a community to support its use in android development with great results and productivity and more...
类文件结构JVM 的“无关性”谈论 JVM 的无关性，主要有以下两个：平台无关性：任何操作系统都能运行 Java 代码语言无关性： JVM 能运行除 Java 以外的其他代码Java 源代码首先需要使用 Javac 编译器编译成 .class 文件，然后由 JVM 执行 .class 文件，从而程序开始运行。JVM 只认识...
ScalaTest 发布了1.0正式版！ ScalaTest是一个开源的Java,Scala的测试框架，它整合了JUnit, TestNG, Ant, and Maven使你能非常高效，同时又符合你自己需要的单元测试方式。 ScalaTest 1.0的新功能：改善JUnit集成改善对JMock, EasyMock以及Mockito的集成3个新的BDD核心特点：FlatSpe
今天从github上项目，运行一致报错，后来自己写了一个测试程序，竟然也是同样的错，最后发现竟然是scala版本不对def main(args: Array[String]): Unit = {val conf=new SparkConf().setAppName("AppConf").setMaster("local[4]")val sc=new SparkCont...
最近刚刚在学习spark，涉及到配置sbt，焦头烂额，遇到了各种问题，这里详细讲讲这些问题（不讲具体怎么配置，个人经验）。环境：win 10 x64idea 社区版hadoop 2.7.2spark 2.4.5spark2.4.5下载官网scala 2.11.8如果什么都没有装的，可以看看这篇文章：https://blog.csdn.net/a1066196847/article...
摘要：PayPal高级工程总监Anil Madan写了篇大数据的文章，一共有100篇大数据的论文，涵盖大数据技术栈，全部读懂你将会是大数据的顶级高手。开源（Open Source）用之于大数据技术，其作用有二：一方面，在大数据技术变革之路上，开源在众人之力和众人之智推动下，摧枯拉朽，吐故纳新，扮演着非常重要的推动作用。另一方面，开源也给大数据技术构建了一个异常复杂的生态系统。每一天，...
鉴于Java 7 SE(标准版)现已正式发布，甲骨文和Java社区进程组织(JCP)的成员们已开始仔细考虑为这种编程语言的下一个版本Java SE 8添加什么功能特性。为这个新版本提上议程的工作是：设计面向云计算的Java。 Mark Little是红帽公司中间件事业部的高级工程主管，也是红帽针对JCP的主要联络官。他说：“Java 8旨在为云计算作好准备，面向更广泛的...
Spring Cloud从一开始最受大家质疑的就是网关性能，那是由于Spring Cloud最初选择了使用Netflix几年前开源的Zuul作为基础，而高性能版的Zuul 2在经过了多次跳票之后，对于Spring这样的整合专家可能也不愿意再继续等待，Spring Cloud Gateway应运而生，那么这个由Spring社区自己开发推出的网关又如何呢？最近一篇《实测 | 转型微服务，...
从第一次下载rust语言的编译器到今天刚好第14天。 简单说一下对这个语言的感觉吧。一、性能把以前用java写的一个中文地址切分的算法，用rust重新实现了一下（https://github.com/naturemickey/addressCut_use_rust）。运行的速度上，rust的release版本要比java快上一倍左右。java版本的代码量是800多行，而rust版...
env preparejavagradlescala复制代码kafka source code downloadbuildtar -zxvf source-code.tar.tz -C <path-of-kafka>cd <path-of-kafka>gradle复制代码遇到错误：21:10:29.882 [ERROR] [org.gradle.inte...
http://www.tiobe.com/index.htm?tiobe_indexJune Headline: Visual Basic 2005 is gaining momentumThe TIOBE Programming Community index gives an indication of the popularity of programming languages....
本节书摘来自华章出版社《Spark大数据分析：核心概念、技术及实践》一书中的第2章，第2.3节，作者[美] 穆罕默德·古勒（Mohammed Guller），更多章节内容可以访问云栖社区“华章计算机”公众号查看。2.3 一个单独的Scala应用程序到目前为止，你看到不少Scala代码片段。在这一节，我们将会编写一个完整的Scala应用程序，你可...
版本：spark2.3相关源码：org.apache.spark.deploy.SparkSubmitArguments作用：解析并封装spark-submit脚本传递的参数/** Licensed to the Apache Software Foundation (ASF) under one or more* contributor license ...
先来说一下Kafka与RabbitMQ的对比：RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。kafka是Linkedin于2010年12月份开源的消息发布订阅系统,它主要用于处理活跃的流式数据,大数据量的数据处理上。RabbitMQ是一个AMQP实现，传统的messaging queue系统实现，基...
spark、storm与Hadoop1. Storm是什么，怎么做，如何做的更好？Storm是一个开源的分布式实时计算系统，它可以简单、可靠地处理大量的数据流。Storm有很多应用场景，如实时分析、在线机器学习、持续计算、分布式RPC、ETL，等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个节点每秒可以处理数以百万计的消息）...
Apache Spark 简介Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce...
在2016年6月的Scala Days柏林大会上，研究员Heather Miller在主题演讲中详细介绍了新成立的的Scala中心。这是一个非盈利性的组织，将重点关注教育和开源社区。\\InfoQ在最近发表的一篇文章中介绍过Scala中心，这里我们将介绍更多的细节。\\为什么成立Scala中心？\\根据一篇发表于2016年3月14日的博文，之所以创建Scala中心，一是因为Scala的职位日益增加
Kafka——分布式消息系统架构ApacheKafka是2010年12月份开源的项目，采用scala语言编写，使用了多种效率优化机制，整体架构比较新颖（push/pull），更适合异构集群。设计目标：(1) 数据在磁盘上的存取代价为O(1)(2)高吞吐率，在普通的服务器上每秒也能处理几十万条消息(3)分布式架构，能够对消息分区(4)支持将数据并行的加载到hadoop...
什么是kafka？Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。简单地说就是一个实现消息的发送与高效消费的一个消息中间件。kafka可以帮助我们做什么？或者是解决什么问题？日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafk...
BDD：行为驱动开发是一种敏捷软件开发的技术，它鼓励软件项目中的开发者、QA和非技术人员或商业参与者之间的协作。BDD最初是由Dan North在2003年命名，它包括验收测试和客户测试驱动等的极限编程的实践，作为对测试驱动开发的回应。BDD的做法包括：确立不同利益相关者要实现的远景目标使用特性注入方法绘制出达到这些目标所需要的特性通过由外及内的软件开发方法，把涉及到的利益相关...
当今世界主流编程语言无不吸纳强大的闭包概念，但有个例外，它就是Java。数年来，Java语言中增加闭包特征的工作看起来毫无进展。早在15年之前，Scala语言和TypeSafe框架的作者Martin Odersky和Phillip Wadler发布了实验性的“Pizza”项目，由此，人们开始试图将闭包纳入编程语言的基本特征之一。尽管这看起来有点过于复杂，Java社区大概在2008年就...
JActor 是一个 Java 的 Actor 模式的实现，经过测试在 i5 CPU 上可支持每秒钟发送超过亿条消息，可能是目前最快的。这相当于是 Scala 的 Actor 的纯 Java 版本。https://github.com/laforge49/JActorhttp://www.jgroups.org/JGroups是一个可靠的群组通讯Java工具包。它基于I...
除了惯例的面对对象的思想，另一种较流行的通过可复用组件创建类的方法是将简单的类混合到一起。你可能对这种混合的方式比较熟悉或对Scala语言的特性有理解，这种模式在JavaScript社区也有一定的人气。混合案例在下面的代码中，我们展示了如何在TypeScript中混合模型，看完代码之后，再...
本节书摘来自华章社区《深入理解Spark:核心思想与源码分析》一书中的第2章，第2.1节初识Spark，作者耿嘉安，更多章节内容可以访问云栖社区“华章社区”公众号查看2.1 初识Spark2.1.1 Hadoop MRv1的局限Hadoop1.0版本采用的是MRv1版本的MapReduce编程模型。MRv1版本的实现都封装在org.apache.had...
再次看了看上篇博客的源代码，发现连自己都看不懂了。想是为了赶时间交货不知不觉又回到OOP行令模式了，看看下面这段代码：(post ¶meters('pid,'desc.?,'width.as[Int].?,'heigth.as[Int].?)) { (pid, optDesc, optWid, optHgh) =>val fu...
scala的普通数据类型转换scala学习仓库地址：https://gitee.com/qh123/scala_learn
http://product.dangdang.com/23829918.htmlSpark作为新兴的、应用范围最为广泛的大数据处理开源框架引起了广泛的关注，它吸引了大量程序设计和开发人员进行相关内容的学习与开发，其中 MLlib是 Spark框架使用的核心。本书是一本细致介绍 Spark MLlib程序设计的图书，入门简单，示例丰富。本书分为 12章，从 Spark...
Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和Ma...
什么是Concurnas，它与众不同的地方是什么？Concurnas是一种新的通用开源JVM编程语言，旨在用于构建并发，分布式和并行系统。 Concurnas很容易学习； 它提供了令人难以置信的性能以及许多用于构建现代企业级计算机软件的功能。 Concurnas与现有编程语言的不同之处在于，它提供了一种独特的，简化的执行并发，分布式和并行计算的方式。 这些计算形式是现代软件工程中最具...
推特算法开源，下载下来一睹风采，需要scala支持。安装完插件后，下载scala，sdk的zip包。IDEA中选择scala的sdk地址。IDEA 插件配置，搜索scala。
在scala的一些开源项目的源码中总是能看到类似self =>关键字，那这到底代表什么呢？在此，记录一下，仅作为笔记this 别名这种相当于给this起了一个别名self,这里的self可以换成其他的你自己喜欢的字符串，看一下spark的源码sparkSession的定义：class SparkSession private(@transient val sparkContext: Spar
最近使用MapReduce进行数据处理时，切实体会到了其不足的地方。由于要对模型进行参数优化，需要迭代多次求精。这本是机器学习算法中非常常见的操作，但是使用MapReduce却非常难以快速高效的完成。于是将目光转向了另一个开源集群计算环境Spark。http://www.oschina.net/p/spark-project Spark 是一种与Hadoop相似的...
Akka和μJavaActorsμJavaActors均是java的Actor库，其中Akka提供了叫为完整的Actor开发框架，较为庞大，学习成本很高，μJavaActors 是一个轻量级Actor库，大约仅有1200行代码，比较适合入门。一.Akka DemoAkka是一个相当成熟、强大的库，github上download下的是Akka的源码，应该使用sbt构建的工程，如果...
专注于大数据及容器云核心技术解密，可提供全栈的大数据+云原生平台咨询方案，请持续关注本套博客。如有任何学术交流，可随时联系。更多内容请关注《数据云技术社区》公众号。1 制作案例POST /forum/article/_bulk{ "update": { "_id": "1"} }{ "doc" : {"author_first_name" : "Peter", "author_last_...
本节书摘来自华章出版社《Spark大数据分析：核心概念、技术及实践》一书中的第1章，第1.7节，作者[美] 穆罕默德·古勒（MohammedGuller），更多章节内容可以访问云栖社区“华章计算机”公众号查看。1.7 总结近年来数据的指数级增长给许多大数据技术带来了机会。传统的专有产品要么无法处理大数据，要么代价太昂贵。这就为开源大数据技术打...
Buoyant是一家云服务公司，宣布了Linkerd(发音为“linker-DEE”)的一周年纪念日，这是一个基于微服务的原生云应用程序的开源“服务网格”项目。诚如公告所述：在20世纪90年代，TCP/IP协议之类网络通信的转变，使得全行业从主机转移到客户机/服务器结构，Linkerd作为下一代云应用的基础网络层，受到越来越多的采用，使得企业能够在...
scala
——scala
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
开放原子开发者工作坊
