logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

一只简单的网络爬虫(基于linux C/C++)————Url处理以及使用libevent进行DNS解析

Url处理爬虫里使用了两个数据结构来管理Url下面的这个数据结构用来维护原始的Url,同时有一个原始Url的队列//维护url原始字符串typedef struct Surl {char*url;intlevel;//url抓取深度inttype;//抓取类型} Surl;原始的Url队列static queue <Surl *> surl

CentOS上安装比较习惯的代码编辑器

linux下的vim用起来不是很习惯,可能是能力有限。所以一直在找一种自己比较熟悉的代码编辑器,所以就找到了sublime text,安装方法网上有很多种,比较方便的方法:直接在csdn上下载一个破解版的,链接为: http://download.csdn.net/download/phpscott2/5356561安装后,能够运行,但每次打开都提示没有安装pyv8.所以在下载pyv8 解压到

#编辑器#centos#linux
涉及secureCRT中文显示的一些设置

1.secureCRT中文显示乱码:如果你的linux本身是显示着中文的,可进行如下设置:选项->会话选项外观->字符编码改为UTF-8,确定即可2.secureCRT中文横向显示:secureCRT中文设置的时候可能会横向显示,如下所示:这是因为在外观里的字体设置,如果字体前面有一个@符号的,就是横向显示的,我们只需把字体那个列表拉倒最下面,选择字体前面没有@符号的,确

使用C++STL的map容器实现一种命令映射

因为最近在练习写一个ftp的服务器,其中的命令有很多种,每个命令对应一个执行函数,能够想到的最简单的实现方式便是使用if……else匹配命令和执行对应的函数,如下所示:if(strcmp("one",cmd) == 0){……}else if(……){……}为了避免频繁地使用if……else……,一种方法是可以建立一个命令和函数指针的数组。大致可以如下实现://函数指针

一只简单的网络爬虫(基于linux C/C++)————读取命令行参数及日志宏设计

linux上面的程序刚开始启动的时候一般会从命令行获取某些参数,比如以守护进程运行啊什么的,典型的例子就是linux下的man,如下图所示实现该功能可以使用getopt函数实现,该函数在头文件unistd.h定义函数原型int getopt(int argc,char * const argv[ ],const char * optstring);函数说明

#linux
muduo网络库源码学习————Exception类

Exception类是为异常捕获而设计,可以获得异常的信息以及栈的回溯信息(原来的代码没有demangle成员函数,输出的格式比较难看,加了demangle成员函数,利用demangle成员函数可以转换格式,使得输出的格式更加接近我们的习惯)以下的代码是加入了demangle成员函数后的:Exception.h// Use of this source code is governed

#网络
一只简单的网络爬虫(基于linux C/C++)————开篇

最近学习开发linux下的爬虫,主要是参考了该博客及其他一些网上的资料。网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。目前有一些比较出名的一些开源爬虫,开源爬虫Labin,Nutch,Neritrix介绍和对比见这里下面说的爬虫是作为一个

#爬虫#linux
到底了