logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hbase与storm的冲突

在原来的hadoop集群上安装hbase,由于使用的现有的zookeeper,配置文件写错了,就修改了配置文件,停止服务。结果发现有问题了,集群上安装的还有storm的集群,而且使用的也是同一套zookeeper。在hbase服务停止的时候storm的进程虽然也在运行,但是从storm的webUI界面上监控不到几个节点了。而监控机器性能的ganglia也有两个节点也是出现同样的问题,g

#hadoop#storm#hbase +1
基于keepalived的redis通信链接数测试

使用keepalived做负载均衡后发现了一个问题作为realserver的redis服务器上有许多打开的监听连接长久时间的不关闭做个测试,检查下问题的所在初步判断是和客户端使用redis链接的方式有关其次是由于网络波动造成的连接中断,由于keepalived的原因无法关闭realserver上被中断的tcp连接以下实验均没有在redis设置客户端连接超时时间连接池

#redis
keepalived+LVS超时设置产生的realserver的tcp连接不释放问题

redis的集群使用keepalived+LVS做的负载集群persistent时间设置为30s而ipvsadm的超时时间则为900 240 300【使用ipvsadm -l --timeout】第一个为tcp超时时间,第二个为tcpfin超时时间,第三个为udp超时时间由于在这种设置下ActionConn的连接数在高频访问下总是不会释放,恒定在100,【5个客户端恒定TCP连接每台1

redis-live监控安装与测试

1.下载安装依赖的软件:setuptools和pip这需要使用两个脚本文件ez_setup.py和get-pip.py这是从python官方提供的脚本ez_setup.py#!python"""Bootstrap setuptools installationIf you want to use setuptools in your package's setup.p

#redis
mahout 推荐引擎的相关介绍,理解,如何应用。(3)

基于 Apache Mahout 实现高效的协同过滤推荐Apache Mahout 是 Apache Software Foundation (ASF) 旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序,并且,在 Mahout 的最近版本中还加入了对 Apache Hadoop 的支持,使这些算法可以更高效的运行在云计算环境中。

#机器学习
hadoop日志【7】----Task process exit with nonzero status of 65

处理一个13个字段的数据然后实验用的hadoop集群果然频频出现状况Task process exit with nonzero status of 65相似的问题:http://blog.csdn.net/ustbyolanda/article/details/10221599看来4G内存的虚拟机集群配置果然不够用的处理的还仅仅是18M的数据~~~~

#hadoop#算法
隐马尔可夫模型

概念隐马尔可夫模型(Hidden Markov Model,HMM)作为一种统计分析模型,创立于20世纪70年代。80年代得到了传播和发展,成为信号处理的一个重要方向,现已成功地用于语音识别,行为识别,文字识别以及故障诊断等领域。它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析,例如模式识别。在正常的马尔可夫模型中

#算法
基于storm和hadoop的广告系统研究【7】

广告反作弊模型基于模型的作弊特征数据挖掘作弊数据处理

redis-live监控安装与测试

1.下载安装依赖的软件:setuptools和pip这需要使用两个脚本文件ez_setup.py和get-pip.py这是从python官方提供的脚本ez_setup.py#!python"""Bootstrap setuptools installationIf you want to use setuptools in your package's setup.p

#redis
到底了