1、项目介绍

技术栈
Python 语言、Django 框架、MySQL 数据库、requests 爬虫库、Echarts 可视化库、当当图书网数据源

功能模块

• 数据采集模块
• 图书展示模块
• 数据分析模块
• 可视化呈现模块
• 后台管理模块
• 功能模块菜单

项目介绍
本系统是基于 Python 与 Django 开发的图书数据分析平台，聚焦当当网图书数据的采集、清洗、分析与可视化呈现。系统通过 requests 爬虫定向抓取图书信息，经清洗去重后存储于 MySQL 数据库。平台提供分类图书列表与详情展示，方便用户快速浏览查询。数据分析模块围绕图书价格区间、出版社分布等核心维度展开深度挖掘，可视化模块依托 Echarts 实现数据大屏展示，以柱状图、饼图等直观形式呈现分析结果。后台管理模块支持图书数据的增删改查、爬虫任务配置及系统管控，形成“采集-存储-分析-展示-管理”的完整闭环，为用户提供直观的数据洞察工具，为管理者提供高效的系统运营支持。

2、项目界面

（1）数据可视化分析大屏
该页面是一个图书数据可视化分析大屏，包含各类别图书数量统计、出版社发行数量排行榜、价格分布分析、评论数量高的图书展示以及今日到取量等核心数据指标。

（2）不同类型下价格区间数量占比分析
该页面是一个图书数据分析模块，包含图书类别分布展示以及不同价格区间的数据统计，通过图形直观呈现各类别图书的数量对比与价格分布特征。

（3）不同类型下出版社数量分析占比
该页面是图书类别的可视化展示模块，以图例形式列出了医学、历史、哲学、文学、经济、艺术等主要图书分类，用于呈现图书资源的类别划分与分布情况。

（4）图书信息、图书列表
该页面为图书数据可视化分析大屏，具备图书信息展示功能，可呈现图书的基础详情、价格、评分、评论数及发布时间等内容，同时显示大屏的时间信息和后台管理的登录账号，是图书数据的可视化展示与后台管理相关的功能界面。

（5）后台数据管理
该页面为图书数据可视化分析大屏的书籍信息管理界面，支持书籍信息的搜索、增加、删除与Excel导出操作，可对书籍信息进行勾选选择与批量处理，以表格形式展示书籍全维度信息，还能实现书籍信息的分页浏览与页码跳转功能。

（7）功能模块菜单
该页面是图书数据可视化分析大屏的主界面，可展示大屏的实时时间与后台管理登录账号，能呈现不同类别图书价格区间数量占比、不同类别下出版社发行量排名的可视化数据，还设有图书信息和大屏展示的功能入口，支持相关图书数据的可视化呈现与功能切换。

（8）数据采集爬取
该页面为图书数据相关的代码编辑运行界面，可编写图书数据爬取的Python代码，支持设置爬取的页数与各类图书对应的分类编码，能对爬取的图书相关数据进行处理和写入操作，还具备代码的运行、软件包管理及问题终端查看等开发相关功能。

3、项目说明

一、技术栈简要说明
系统后端采用 Python 语言与 Django 框架构建，数据库选用 MySQL 进行数据存储。数据采集环节使用 requests 爬虫库定向抓取当当图书网信息，前端可视化部分通过 Echarts 图表库实现数据大屏展示。系统涵盖数据爬取、清洗、存储、分析与可视化的完整技术链路。

二、功能模块详细介绍
· 数据采集模块
该模块为图书数据爬取功能，提供代码编辑运行界面，支持编写 Python 爬虫脚本，可设置爬取页数与各类图书对应的分类编码，对抓取的图书数据进行处理与写入操作，具备代码运行、软件包管理及问题终端查看等开发功能，实现当当网图书信息的定向采集。

· 图书展示模块
以图书列表形式呈现图书的基础详情、价格、评分、评论数及发布时间等信息，支持分页浏览与页码跳转，方便用户快速查询与检索图书资源，同时显示大屏时间信息与后台管理登录账号，为前台用户提供清晰的图书数据查阅入口。

· 数据分析模块
围绕图书核心维度展开深度挖掘，包含不同类型下价格区间数量占比分析，通过图形直观呈现各类别图书的数量对比与价格分布特征；同时包含不同类型下出版社数量分析占比，以图例形式展示医学、历史、哲学、文学、经济、艺术等主要图书分类的出版社分布情况。

· 可视化呈现模块
依托 Echarts 实现数据可视化大屏展示，包含各类别图书数量统计、出版社发行数量排行榜、价格分布分析、评论数量高的图书展示以及今日到取量等核心数据指标，以柱状图、饼图等直观形式呈现分析结果，支持图书信息的可视化展示与功能切换。

· 后台管理模块
提供书籍信息管理界面，支持图书信息的搜索、增加、删除与 Excel 导出操作，可对书籍信息进行勾选选择与批量处理，以表格形式展示书籍全维度信息，实现图书数据的增删改查与系统配置管控，保障数据准确性与系统稳定运行。

· 功能模块菜单
作为系统主界面，展示大屏实时时间与后台管理登录账号，呈现不同类别图书价格区间数量占比、不同类别下出版社发行量排名的可视化数据，设有图书信息和大屏展示的功能入口，支持相关图书数据的可视化呈现与各模块之间的快速切换。

三、项目总结
本系统是基于 Python 与 Django 开发的图书数据分析平台，聚焦当当网图书数据的采集、清洗、分析与可视化呈现。系统通过 requests 爬虫定向抓取图书信息，经清洗去重后存储于 MySQL 数据库。平台提供分类图书列表与详情展示，方便用户快速浏览查询。数据分析模块围绕图书价格区间、出版社分布等核心维度展开深度挖掘，可视化模块依托 Echarts 实现数据大屏展示，以柱状图、饼图等直观形式呈现分析结果。后台管理模块支持图书数据的增删改查、爬虫任务配置及系统管控，形成“采集-存储-分析-展示-管理”的完整闭环，为用户提供直观的数据洞察工具，为管理者提供高效的系统运营支持。

4、核心代码

import requests
from bs4 import BeautifulSoup
import time
def fun(find,type=None):
    if find:
        if type:
            try:
                return find[0].get(type).strip().replace('\t','').replace('\n','')
            except:
                return ""
        return find[0].text.strip().replace('\t','').replace('\n','')
def getData(url,data,category):
  
    response = requests.get(url=url,headers=headers)
    soup = BeautifulSoup(response.text,'lxml')
    
    li_list = soup.select('#search_nature_rg ul.bigimg li')
    for li in li_list:
        title = fun(li.select('a.pic'),'title').split('（')[0]
        author = li.select('p.search_book_author span')[0].text.strip().replace('\t','').replace('\n','')
        createTime = li.select('p.search_book_author span')[1].text.strip().replace('\t','').replace('\n','')
        press = li.select('p.search_book_author span')[2].text.strip().replace('\t','').replace('\n','')
        now_price = fun(li.select('p.price span.search_now_price'))
        pre_price = fun(li.select('p.price span.search_pre_price'))
        discount = fun(li.select('p.price span.search_discount'))
        detail = fun(li.select('p.detail'))
        star = fun(li.select('p.search_star_line span.search_star_black span'),'style')
        comment_num = fun(li.select('p.search_star_line a.search_comment_num'))
        img_url = fun(li.select('.pic img'),'data-original')
        if img_url:
            img_url = "http:" + img_url
        book_url = fun(li.select('p.name a'),'href')
        if book_url:
            book_url = "http:" + book_url    
        addTime = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())
        data.append([category,title,author,createTime,press,now_price,pre_price,discount,detail,star,comment_num,img_url,book_url,addTime])
        
def writeData(data):
    with open('./data.csv','w+',encoding='utf-8') as fp:
        fp.write("\t".join(['category','title','author','createTime','press','now_price','pre_price','discount','detail','star','comment_num','img_url','book_url','addTime'])+'\n')
        for item in data:
            fp.write("\t".join([str(i) for i in item])+'\n')
            
if __name__ == '__main__':

    base = 'http://category.dangdang.com/pg{}-cp01.{}.00.00.00.00.html'
    data = []
    # 这个设置爬取多少页
    max_page = 2

    category_code = {'成功/励志':'21','艺术':'07','历史':'36','文学':'05','医学':'56','计算机/网络':'54','经济':'25','社会科学':'30','科普读物':'52','时尚/美妆':'11','哲学/宗教':'28','建筑':'55'}


    for category in category_code:
        for page in range(max_page):
            url  = base.format(page+1,category_code[category])
            try:
                getData(url,data,category)
                print('类别{}第{}页爬取成功!'.format(category,page+1))
                time.sleep(1)
            except:
                print('类别{}第{}页爬取失败!'.format(category,page+1))
                time.sleep(15)
    writeData(data)