数据采集是市场研究的重要组成部分，同样因为是进行科学性数据分析的基础。采集数据的准确性直接关系到数据分析[6]结果的价值，所以科学的数据采集方法将是数据分析师分析的前提。

通过采集数据，进行数据的分析的意义也比较重大。首先，告诉此阶段企业的整体运营情况，并通过完成各种运营指标来衡量企业的运营状况，以显示企业的整体运营情况是好是坏，其次，告诉企业每个业务的组成，以便了解企业每个业务的发展和变化，并对企业的业务状态有更深入的了解。在对第一阶段的现状进行分析之后，对公司的运营有了基本的了解，但是我们不知道哪里的运营更好，差异是什么，以及原因是什么。这时，我们需要进行原因分析，以进一步确定业务变更的具体原因。了解公司运营的现状后，有时需要对公司的未来发展趋势做出预测，为公司制定业务目标，并提供有效的战略参考和决策依据，以确保公司的持续健康发展。

利用爬虫语言设计数据分析平台，完成特定的数据分析功能，使用非常方便。从上述平台设计过程及应用效果来看，Python语言自身语法简单，即使初学者也能够通过查询和调用相关类库，实现数据分析功能。在数据操作过程中，数据库运行速度快，可以减少使用者的等待时间，及时掌握数据分析结果，发挥其利用价值。因此，Python语言是目前最为先进的数据分析工具之一，具有广泛的应用前景，可以有效简化复杂的数据分析处理过程，对其底层操作进行封装，只通过简单的功能按钮操作，就可以得到想要的数据处理结果，优势非常突出。

核心代码分享如下：

import requests
import math
import time
import pandas as pd
import pymysql
from sqlalchemy import create_engine

def get_json(url, num):
“”"
从指定的url中通过requests请求携带请求头和请求体获取网页中的信息,
:return:
“”"
#url1 = ‘https://www.lagou.com/jobs/list_python/p-city_0?&cl=false&fromSearch=true&labelWords=&suginput=’

#####这个版本失效了

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36’,

‘Host’: ‘www.lagou.com’,

‘Referer’: ‘https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?labelWords=&fromSearch=true&suginput=’,

‘X-Anit-Forge-Code’: ‘0’,

‘X-Anit-Forge-Token’: ‘None’,

‘X-Requested-With’: ‘XMLHttpRequest’,

‘Cookie’: ‘RECOMMEND_TIP=true; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%226450984%22%2C%22first_id%22%3A%22177e31c5c2f15a-0c263f345570168-1a367740-2073600-177e31c5c30426%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%2C%22%24latest_referrer%22%3A%22%22%2C%22%24os%22%3A%22Windows%22%2C%22%24browser%22%3A%22Firefox%22%2C%22%24browser_version%2…5f272cc3de2d-1b317140-2073600-17abeb169a41e2; LGSID=20210719201350-62445703-015e-4d7a-a521-9f9bb0264588; PRE_UTM=; PRE_HOST=; PRE_SITE=https%3A%2F%2Fwww.lagou.com; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; LGRID=20210719201415-b14c318e-9024-422f-9f6f-eb317e8286f2; X_HTTP_TOKEN=5d3e2971ace082724586966261575a63c69b736c62; sensorsdata2015session=%7B%7D; _gat=1; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1626696961; privacyPolicyPopup=false; _gid=GA1.2.1558591878.1626696939; index_location_city=%E5%85%A8%E5%9B%BD’

}

data = {

‘first’: ‘true’,

‘pn’: num,

‘kd’: ‘java’}

####这个版本失效了
headers = {
‘authority’: ‘www.lagou.com’,
‘sec-ch-ua’: ‘^\’,
‘accept’: ‘application/json, text/plain, /’,
‘x-anit-forge-code’: ‘a0555ed5-e147-492a-9d37-4fd12f268e70’,
‘x-anit-forge-token’: ‘ab9e04ab-5b2c-499c-b8c3-1bf534b9be6b’,
‘sec-ch-ua-mobile’: ‘?0’,
‘user-agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36’,
‘content-type’: ‘application/x-www-form-urlencoded; charset=UTF-8’,
‘origin’: ‘https://www.lagou.com’,
‘sec-fetch-site’: ‘same-origin’,
‘sec-fetch-mode’: ‘cors’,
‘sec-fetch-dest’: ‘empty’,
‘referer’: ‘https://www.lagou.com/wn/jobs?cl=false&fromSearch=true&kd=vue’,
‘accept-language’: ‘zh-CN,zh;q=0.9’,
#‘cookie’: ‘RECOMMEND_TIP=true; user_trace_token=20210511084946-49c14b46-cb33-468c-8b8d-6857a3b2cfad; LGUID=20210511084946-f54c5440-e4bb-4554-83dd-47eec71f4e4c; _ga=GA1.2.835590744.1620694855; LG_HAS_LOGIN=1; JSESSIONID=ABAAAECABFAACEA84AC6A8F75C6A6FFBD5EA9A9A9CB6B59; WEBTJ-ID=20210719^%E4^%B8^%8B^%E5^%8D^%889:47:41214741-17abf05bc12949-015c51fd4d2569-3c3b5a0c-2073600-17abf05bc13807; privacyPolicyPopup=false; PRE_UTM=; PRE_HOST=; PRE_LAND=https^%3A^%2F^%2Fwww.lagou.com^%2F; LGSID=20210719214556-b1234dd2-6093-411c-902d-86332aad76c3; PRE_SITE=https^%3A^%2F^%2Fwww.lagou.com; _gid=GA1.2.1678999665.1626702463; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1626702463; sensorsdata2015session=^%7B^%7D; gate_login_token=8c829f21d23255c4cb8072f0fbc3487b9556175cfcb080c3; LG_LOGIN_USER_ID=911d6e241321d624916b73f87f04b5edd9d49117442d456a; _putrc=C6B36599E0947B4D; login=true; unick=^%E7^%A8^%8B^%E5^%BA^%8F^%E8^%AE^%BE^%E8^%AE^%A1^%E5^%A4^%A7^%E7^%A5^%9E; showExpriedIndex=1; showExpriedCompanyHome=1; showExpriedMyPublish=1; hasDeliver=23; __SAFETY_CLOSE_TIME__6450984=1; TG-TRACK-CODE=index_zhaopin; lg_stoken=37a7c24cd1874978bffc975d898d749028f9e5c3a0bdbca77087876857a9521e44600a3ad2fb4b4204b2c64fc9879640533b584bc4b4759057fa010837776d54882ef9162b5b; gat=1; sensorsdata2015jssdkcross=^%7B^%22distinct_id^%22^%3A^%226450984^%22^%2C^%22first_id^%22^%3A^%2217958f0ee0783d-0af05473790d7d-5b1e341a-2073600-17958f0ee08827^%22^%2C^%22props^%22^%3A^%7B^%22^%24latest_traffic_source_type^%22^%3A^%22^%E7^%9B^%B4^%E6^%8E^%A5^%E6^%B5^%81^%E9^%87^%8F^%22^%2C^%22^%24latest_search_keyword^%22^%3A^%22^%E6^%9C^%AA^%E5^%8F^%96^%E5^%88^%B0^%E5^%80^%BC^%E7^%9B^%B4^%E6^%8E^%A5^%E6^%89^%93^%E5^%BC^%80^%22^%2C^%22^%24latest_referrer^%22^%3A^%22^%22^%2C^%22^%24os^%22^%3A^%22Windows^%22^%2C^%22^%24browser^%22^%3A^%22Chrome^%22^%2C^%22^%24browser_version^%22^%3A^%2291.0.4472.124^%22^%2C^%22^%24latest_referrer_host^%22^%3A^%22^%22^%7D^%2C^%22^%24device_id^%22^%3A^%2217958f0ee0783d-0af05473790d7d-5b1e341a-2073600-17958f0ee08827^%22^%7D; SEARCH_ID=33822bfd83af4044bbdf5e739c357f57; index_location_city=^%E5^%8C^%97^%E4^%BA^%AC; X_HTTP_TOKEN=67bffba17c882ded9023076261e4738d3a918ca7a3; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1626703316; LGRID=20210719220010-d8e08ce7-371c-4b2c-b461-35942f573b00’,
‘cookie’: ‘user_trace_token=20210106160617-423191fc-458b-44fe-a8d4-6bcccac0c5ba; LGUID=20210106160617-9b12ac55-f84c-4195-b691-b39f94389871; _ga=GA1.2.1294001968.1609920726; LG_HAS_LOGIN=1; JSESSIONID=ABAAAECAAEBABII7F996E3B4F20C4F3E00655E9AF9448B2; WEBTJ-ID=20220301205653-17f458e15994ee-0bcd280e7a1733-45410429-2073600-17f458e159a5af; RECOMMEND_TIP=true; PRE_UTM=; PRE_HOST=; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; LGSID=20220301205610-fa925193-4544-4c10-992d-f341af133457; PRE_SITE=https%3A%2F%2Fwww.lagou.com; _gat=1; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1646139415; privacyPolicyPopup=false; Hm_lvt_6cda846867fd596b2ca7a177bac2039f=1646139415; _gid=GA1.2.130392468.1646139415; sensorsdata2015session=%7B%7D; gate_login_token=501d64411543dc5180384441ec6f2b3c0971ea98b71302fb; LG_LOGIN_USER_ID=31069c23673a9ef3bab6d9eb9a66df67806003fa990368de; _putrc=C6B36599E0947B4D; login=true; unick=%E7%A8%8B%E5%BA%8F%E8%AE%BE%E8%AE%A1%E5%A4%A7%E7%A5%9E; showExpriedIndex=1; showExpriedCompanyHome=1; showExpriedMyPublish=1; hasDeliver=23; index_location_city=%E5%8C%97%E4%BA%AC; X_HTTP_TOKEN=198c720d9261a486104931646181c7768a0355c84d; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1646139446; _SAFETY_CLOSE_TIME__6450984=1; TG-TRACK-CODE=index_navigation; LGRID=20220301210234-5378f82f-1a00-45e8-9c72-2a4f56c38703; lg_stoken=2d2f31fbf63b61c798174fca433249e77f60c563743eaf7e2c99bfdafe67ec84923b11fe1ef3827e3e39accee822d731c33d57f64cae4d7c7c6b0b599307cc3167ce2f0908e4; Hm_lpvt_6cda846867fd596b2ca7a177bac2039f=1646139801; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%226450984%22%2C%22first_id%22%3A%22176d6c0c3fb310-0442506695abbf-45410429-2073600-176d6c0c3fc21c%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%2C%22%24latest_referrer%22%3A%22%22%2C%22%24os%22%3A%22Windows%22%2C%22%24browser%22%3A%22Chrome%22%2C%22%24browser_version%22%3A%2286.0.4240.198%22%7D%2C%22%24device_id%22%3A%22176d6c0c3fb310-0442506695abbf-45410429-2073600-176d6c0c3fc21c%22%7D’,
}

data = {
‘first’: ‘true’,

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

👉实战案例👈

学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。

因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！*
[外链图片转存中…(img-6EmqgAR2-1712524947563)]