简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
文字文字 文字文字 文字文字 文字文字 #accordion1{width:233px;border:1px solid #ccc;} #accordion1.ks-switchable-trigger{padding:3px 10px;cursor:pointer;border-bottom:1px solid#ddd;backgrou
pandas-datareader介绍Pandas库提供了专门从财经网站获取金融数据的API接口,可作为量化交易股票数据获取的另一种途径,该接口在urllib3库基础上实现了以客户端身份访问网站的股票数据。需要注意的是目前模块已经迁徙到pandas-datareader包中,因此导入模块时需要由import pandas.io.data as web更改为import pandas_datare.
poetry简介poetry 是一个包管理和打包的工具。在 Python 中,对于初学者来说,打包系统和依赖管理是非常复杂和难懂的。以前是把需要的包和版本全部写在requirements.txt中,使用requirements.txt来进行管理。即使对于经验丰富的开发者,一个项目总是要同时创建多个包管理的文件才能很好完成包的管理:setup.pyrequirements.txtset...
java内存机制
Hadoop并不完全代表云计算,所以,要用Hadoop搭建完整的云计算平台,答案是不够。我们常说云计算,实际上还是通过计算机的大规模或者 说海量处理来为生活中各式各样的人和各行各业服务——所以,核心在“服务”。关于服务,展开来就是常用的那3种(也是事实上的标 准):SaaS,PaaS,IaaS。对云计算来说,公有和私有,虚拟和存储,这其实是相对讨论的核心。回头说Hadoop。在Google三大..
我们发现分布式是一个发展的趋势,无论是大型网站的负载均衡架构还是大数据框架部署,以及云存储计算系统搭建都离不开多台服务器的连续部署和环境搭建。当我们的基础架构是分散式或者基于云的,并且我们经常需要处理在大部分相同的服务器上频繁部署大致相同的服务时,我们就应该考虑自动化配置和维护了。让用户极容易配置和维护数十台、数百台、乃至数千台服务器。幸运的是,现在有很多运维管理工具是为此目的而设计的...
有时候我们需要在VMware 中添加新的虚拟磁盘。比如原来已经有sda盘,现在我们需要新的空白sdb盘。方法如下:VMware新增磁盘的设置步骤(建议:在设置虚拟的时候,不要运行虚拟机的系统,不然添加了新的虚拟磁盘则要重启虚拟机)1、选择“VM”—-“设置”并打开,将光标定位在硬盘这一选项,然后点击下方的添加按钮点击下一步,执行下一个步骤按照默认的,选择SCSI...
我们想了解一个开源组件,最好的办法就是实际搭建环境,用一下。在搭建集群之前,最基本的事情就是了解下集群的最低配置要求,比如CDH版本的hadoop的master节点最少需要10个G的内存,如果达不到就根本不可能安装成功。好在ceph对各方面的要求并不是很高,我们能在虚拟机环境下进行安装配置学习。Ceph 为普通硬件设计,这可使构建、维护 PB 级数据集群的费用相对低廉。规划集群硬件时,需要...
大概一周前,Zenoss刚刚完成了一份名为“2014开源云计算解析”的市场调查显示,69%已经不同程度地应用云计算技术,43%的用户花费大量资源在开源技术上。在这些选择了开源云的企业中,超过86%的企业关注OpenStack,并且这些数值在过去几年都在不断增长。 排在第二位的CloudStack则被远远甩在后面,只有44%。OpenStack和CloudStack都是功能强大的开源云平台,那O..
2基于云计算的系统总体设计方案2.1系统总体技术架构本文设计的移动互联网用户行为分析引擎通过云计算技术实现分布式并发的大规模计算能力,构建移动互联网端到端的大数据挖掘分析系统,实现对DPI和应用平台用户上网行为的偏好分析,提供个性化推荐服务,打通从数据采集、分析到服务提供、营销执行的全过程。系统通过FTP服务器获取数据,在接口层采用分布式计算与批量处理相结合的方式,将大数据...