背景公司的pro环境并没有搭建自己存储环境，而是直接使用阿里云的rds，那么数仓的建设也就直接使用了阿里云的dataworks（也就是原odps，也有maxcompute）。数据存储的限制，需要使用pyodps的sdk才能进行更好的管理、分析、处理（机器学习、深度学习模型训练等）。本wiki将阐述使用pyodps的优势。数据流概念解析：内容源爬虫系统，scrapy实现，爬取文章...

背景机器学习中，如何评估一个模型的好坏极关重要，否则训练出来了我们自己都说不明白到底该不该用，一句话就是心里没底。本文将用较为白话的角度来阐述这些指标。注：这些指标（准确率、精确率、召回率）用中文表示容易混淆，例如准确率和精确率，本文将用英文来进行表述指标介绍在介绍之前，我们先上一个二分类的例子假定已经根据训练集训练出了一个模型，这个模型等待进行评估。现在给定测试集，正样本60个，...

背景爬虫技术是索取互联网信息主要手段，一直想接触，但并没有实体项目。近期偶尔关注股票，一位朋友非常强调每个公司的公告信息的重要性，甚至在短期内极度影响一直股票的走势。所以，自己基于scrapy+python实现了一个小爬虫，目标是爬取股票公告，并入库，以待以后的机器学习分析。概要设计功能描述爬虫服务爬取目标网站数据（包括翻页之后的数据）将数据进行入库操作模块设计详细设计目标...

背景之前调研了dlib的方法，发现手机端运行的效率较低，需要对比一下阿里的mnn和腾讯的ncnn官方文档解读ncnn首页一览地址：https://github.com/Tencent/ncnnncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖，跨平台，手机端 cpu 的速度快于目前所有已知的开源框架。基于 ncnn，...

背景gpu的训练速度优于cpu，那么到底快多少呢？本博客拿caffe、cifar10做一下测试。机器配置系统：deepin 15.11cpu：i7 7700内存：32G 2400hz显卡：gtx1080（中端）gpu训练数据cpu训练数据耗时 = 17:16:00 - 17:23:39 = 8分钟...

背景spring boot2.0以后，web容器类型增加了webflux（使用了netty nio框架）。都说nio快，而且netty的nio更快（tomcat 8以后也引入了nio，但性能并不是最优）。现在来通过简单的helloworld测试一下性能对比环境cpu：i7 7700内存：32G 2400hz硬盘：ssd 读取速度 3.2G，写入速度2.4G（西数n750）代码实现非...

背景今天有个需求，需要用python实现java的hashCode分表。本博客将把这个操作记录下来，以免以后重复造轮子。实现def hash_code(s):h = 0if len(s) > 0:for item in s:h = 31 * h + ord(item)return h...

背景gpu的训练速度优于cpu，那么到底快多少呢？本博客拿caffe、cifar10做一下测试。机器配置系统：deepin 15.11cpu：i7 7700内存：32G 2400hz显卡：gtx1080（中端）gpu训练数据cpu训练数据耗时 = 17:16:00 - 17:23:39 = 8分钟...

背景之前调研了dlib的方法，发现手机端运行的效率较低，需要对比一下阿里的mnn和腾讯的ncnn官方文档解读ncnn首页一览地址：https://github.com/Tencent/ncnnncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖，跨平台，手机端 cpu 的速度快于目前所有已知的开源框架。基于 ncnn，...

背景继续走读一下keras的demo：mnist_mlpgit地址：https://github.com/keras-team/keras.git目录：examples代码诠释'''Trains a simple deep NN on the MNIST dataset.Gets to 98.40% test accuracy after 20 epochs(there is *a...