最近在做爬虫的时候，发现部分网页爬出来的数据是乱码（网易新闻）。 搞了半天，最后发现网易新闻的编码格式是GBK不是UTF-8。 查看网页的编码格式的方法就是：1、在网页按F12，打开开发者工具2、在console 中输入“document.charset”查看页面编码，如下》document.charset》"UTF-8"3、设置spider的编码格式pythonreq = requests.ge

Python对列表去重的4种方法列表去重开发中对数组、列表去重是非常常见的需求，对一个list中的id进行去重，有下面几种方法，前面两种方法不能保证顺序， 后面两种方法可以保持原来的顺序。下面的代码都在Python3下测试通过， Python2下请自行测试1. 使用set的特型，python的set和其他语言类似, 是一个无序不重复元素集1234orgList=[1,0,3,7,7,5]#list

在安恒杯看到了利用order by进行盲注，记得自己之前好像总结过order by后的注入方法，翻笔记发现确实是有一篇标题为order by注入的笔记，然而里面什么都没写。看了下详细信息，发现是17年8月11号创建的。真的是拖延症拖到忘记啊。order by是mysql中对查询数据进行排序的方法， 使用示例这里的重点在于order by后既可以填列名或者是一个数字。举个例子： id是user表的第