抖音、快手视频无水印爬虫，以及通过请求网页获取html页面数据

小白的上班常态：每天不是玩bug就是被bug玩，每天痛并快乐着干货：分页查询数据重复的情况，一般原因：1.order by 排序字段不是唯一主键或者有重复数据导致造成；2.在翻页过程中有新数据插入导致数据读写冲突导致造成解决办法：1.使用order by 排序时，加上主键或者不会重复的字段（一般建议唯一主键，如果选择时间字段，数据量过大时，有可能会重复，导致分页数据乱序或重复）；2.如果每页数量固