14年双11大促缓存方案，今天有点闲暇时间，回顾一下当时的思路。场景介绍：大促活动下，对于某些产品进行整点秒杀活动。预计流量是平时峰值5+倍。商品计算逻辑比较复杂：某个最终展示的商品属性和价格，可能需要上亿次动态条件计算获得，动态条件每时每刻都在变化，并且商品的库存属性属于行业共有库存，每时每刻都在变化。计算模型：前端机并发去后端获取实时计算数据，然后合并结果，根据用户信息给商品打

ngx_lua原理ngx_lua将Lua嵌入Nginx，可以让Nginx执行Lua脚本，并且高并发、非阻塞的处理各种请求。Lua内建协程，这样就可以很好的将异步回调转换成顺序调用的形式。ngx_lua在Lua中进行的IO操作都会委托给Nginx的事件模型，从而实现非阻塞调用。开发者可以采用串行的方式编写程序，ngx_lua会自动的在进行阻塞的IO操作时中断，保存上下文；然后将IO操作委托给Ngin

前些天，创新工场李开复同学在2012博鳌亚洲论坛表示：“你们有多少人丢过手机？大概有15%。你们有多少人数据放在微软掉过的？我想不见得很多吧。所以相对来说是安全的。放在大公司里比自己拿着掉的概率更大，你不相信的话，可以问陈冠希先生。”两种安全看到这个消息的时候，我觉得李开复同学混淆了云存储和安全这两个概念，在英文里，有两个单词，一个是Safety，一个是Se

最近有位 VPS 客户抱怨 MySQL 无缘无故挂掉，还有位客户抱怨 VPS 经常死机，登陆到终端看了一下，都是常见的 Out of memory 问题。这通常是因为某时刻应用程序大量请求内存导致系统内存不足造成的，这通常会触发 Linux 内核里的 Out of Memory (OOM) killer，OOM killer 会杀掉某个进程以腾出内存留给系统用，不致于让系统立刻崩溃。

时至今日，“Big data”（大数据）时代的来临已经毋庸置疑，尤其是在电信、金融等行业，几乎已经到了“数据就是业务本身”的地步。这种趋势已经让很多相信数据之力量的企业做出改变。恰逢此时，为了让更多的人了解和使用分析大数据，CSDN独家承办的大数据技术大会于今日在北京中旅大厦召开。本次大会汇集Hadoop、NoSQL、数据分析与挖掘、数据仓库、商业智能以及开源云计算架构等诸多热点话题。包括百度、淘

完整文章在《程序员》第2013.11期第108页云计算并不是天生为数据库设计的，在云端使用关系型数据库面临着软硬件可靠性差、可预测性低和控制能力弱等诸多挑战，网易云数据库在架构设计中充分考虑了上述因素影响，并通过相应的技术手段解决了这些问题。架构设计图1为网易云数据库的总体架构图，下面将详细介绍各个模块扮演的角色和主要功能。管理服务器：整个系统的调度控制模块，负责实

以前一直以为MYSQL，innodb_buffer_pool_size=8G，MySQL一起动就会将占用掉8G内存（认为TOP可以看到内存被使用了8G），但是最近才仔细研究一下，原来不是这样的（可能自己对Linux malloc内存分配也只是知道了个皮毛吧），MySQL启动时实际只是在虚拟内存中分配了地址空间，而并没有真正的映射到物理内存上。因为malloc分配内存是先在虚拟内存中分配地址的，到实

原始输入日志文件每行日志格式如下，json 数组格式的：[{“a”:1},{“a”:2}]要求拆分成2行事件，在ES中保存两个文档{“a”:1}{“a”:2}本来以为挺麻烦，原来 input -> codec => json 直接支持解析这种格式，真愚昧啊file {type => "test"path => "/home/jfy/tmp/te

为确保具备对海量任务调度的支持能力，Gearman毫无悬念的选择libevent作为网络操作支撑库。libevent是一个事件触发的网络库，适用于windows、linux、bsd等多种平台，内部使用select、epoll、kqueue等系统调用管理事件机制。著名分布式缓存软件memcached也是libeventbased，而且libevent在使用上可以做到跨平台，而且根据

file {type => "voip_feedback"path => ["/usr1/data/voip_feedback.txt"]format => jsonsincedb_path => "/home/jfy/soft/logstash-1.4.2/voip_feedback.access"}