登录社区云,与社区用户共同成长
邀请您加入社区
前面学了数据处理、可视化库、AI 辅助分析,这篇全部串起来。模拟一份真实电商销售数据,走完从数据加载→清洗→探索→可视化→生成报告的全流程。最终产出一份包含 6 张图表的完整分析报告(HTML 格式),以及一个可复用的自动化脚本。这就是数据可视化的完整闭环。
本文针对日常办公中的重复性任务,提供基于Python 3.10的自动化解决方案。详细讲解文件批量重命名、Excel数据合并、网页资源抓取及邮件自动发送的技术实现路径,帮助业务人员与开发者缩短数据处理耗时。
本文介绍了基于Python 3.12+的可视化系统架构设计,重点探讨了三种核心模式:1)客户端渲染(CSR)与服务端渲染(SSR)的混合架构,结合两者优势实现快速首屏加载和高效交互;2)微前端架构,通过独立部署的微应用实现模块化开发;3)分层数据流架构,采用展示层、应用层、领域层和基础设施层的四层设计模式。文中提供了Python代码示例,包括数据预聚合服务、微应用事件总线和可视化服务实现,适用于W
📌 ATR动态止损轨道实现方案摘要 ATR(真实波动幅度)动态止损通过市场波动率自适应调整止损位,相比固定止损能有效降低误触发率并锁定趋势利润。QuantDash提供多市场(A股/美股/港股)服务器端前复权数据(adjust='forward'),解决传统方案中复权缺口、API异构等痛点。开发者通过极简代码即可: 获取标准K线(含复权) 计算14日ATR及动态止损轨道(基于最高价-N×ATR)
数据可视化与自动化处理是现代财务管理的核心技术。通过Python的pandas库可以高效处理结构化财务数据,matplotlib则能将收支趋势转化为直观图表。这种技术组合特别适合开发轻量级个人财务系统,既能实现交易记录的CRUD操作,又能自动生成可视化报表。典型的应用场景包括日常记账、消费分类统计和预算预警。本文演示的财务管理系统采用面向对象设计,核心模块包含交易记录、财务分析和数据可视化,支持J
缺失值处理:学会检测缺失值,并根据情况选择删除或填充(均值、中位数、向前/向后填充)策略。重复值处理:识别并删除完全重复或基于特定列的重复记录,确保数据的唯一性。字符串标准化:使用.str方法进行大小写转换、去除空格、替换字符等操作,确保文本数据的一致性。日期格式处理:将字符串转换为datetime类型,提取日期各部分,进行日期计算。数据类型转换:优化数据类型以节省内存并确保计算准确性,包括数值转
动态排序轮播图(Bar Chart Race)是当下 B 站、抖音等平台非常热门的数据可视化形式,凭借流畅的动画、直观的数据排名变化,能生动展现长时间维度下的数据变迁。本文将完整分享一套从数据清洗到商业级可视化的实战项目:使用pandas完成人口数据预处理,结合pyecharts打造 1960-2024 年世界各国人口动态排名轮播图,复刻 B 站主流深色风格交互图表,全程代码可直接运行,附踩坑解决
本章摘要:本章重点讲解Python字典的基本操作与应用,包括字典的创建、增删改查、遍历与嵌套等核心知识点。通过键值对存储结构化数据是字典的核心功能,相比列表、元组等序列类型,字典更适合存储配对信息。本章还介绍了安全取值方法get()、三种遍历方式(keys()/values()/items())以及嵌套字典的用法。最后通过一个通讯录管理小程序的实践,综合运用字典操作技能。学习本章需掌握元组、集合、
很多网站的数据以 HTML 表格形式展示——股票行情、天气预报、统计年鉴、学校课表。用普通爬虫写正则或 XPath 去解析 HTML 表格非常麻烦,而 pandas 的read_html一行代码就能把网页上的所有表格抓下来。
系列名:《从零搭建你的 A 股量化系统》| 第 3 篇 / 共 100+ 篇标签:#量化投资 #Python #pandas #matplotlib #A股 #散户 #零基础 #实战上篇《半小时装好环境》里,我们把 Python + conda + Git 这套地基打好、自检通过了。但说实话——你那时候大概率还是"照着敲、能跑、但不知道为啥"。量化 90% 的日常工作,不是在写算法,而是在"摆弄数
摘要 针对开源爬虫库(如AkShare)因反爬机制或网页结构变动导致的接口失效问题,QuantDash提供了更稳定的标准化API解决方案。它支持pip一键安装,统一股票代码格式(如600519.SH),内置服务器端复权计算,并直接输出Pandas/Polars格式数据,仅需3行代码即可获取跨市场K线、分钟线及实时盘口数据。QuantDash解决了传统爬虫的数据不稳定、代码复杂、复权计算繁琐等问题,
摘要 在港股及跨境ETF量化交易中,实时获取行情与五档盘口数据对捕捉折溢价套利机会至关重要。传统方法(如自建爬虫或免费API)常面临限频、代码格式混乱、数据延迟等问题。通过官方开源Python SDK QuantDash(pip install quantdash),开发者只需几行代码即可统一获取港股ETF(如02800.HK、03033.HK)的实时价格、五档盘口及折溢价率,支持秒级监控与回溯分
本文介绍了一种基于Python和QuantDash SDK的高频日内短线交易策略实现方案。重点解决了日内高频K线计算中的三大技术难题:数据缺失导致的指标畸变、除权除息引发的均线阶跃、时间戳反序列化效率问题。文章提供了完整的Python代码示例,演示如何通过QuantDash获取5分钟级K线数据,并使用纯Pandas计算EMA和RSI指标。同时给出了AI编程助手提示词,指导实现包含MACD和布林轨指
数据清洗是数据分析与机器学习 pipeline 中决定模型效果的基础环节,其本质是对原始数据进行标准化、校验、修复与增强的过程。核心原理在于通过类型约束、时区对齐、缺失语义识别、正则提取等技术手段,保障数据的一致性、完整性与业务可信度。在工程实践中,pandas、polars、ciso8601、rapidfuzz 等工具构成关键能力矩阵,分别解决内存效率、时间解析精度、模糊匹配性能等高频痛点。其技
PyEcharts 的定位很清晰——写 Python 代码,产出 JS 图表。做数据中台、大屏展示、定期报告时特别好用。生成的 HTML 可以直接发给老板,浏览器打开就能看,不需要装任何环境。下一篇聊时间序列分析——用 Pandas 处理日期数据,然后画趋势图。
本文总结了Python中常用的文件处理实践方法,包括:1)文本文件读取(全量/逐行/分块)和写入;2)JSON/CSV/Excel等结构化数据的读写;3)XML文件解析与生成;4)文件批量操作与复制移动;5)二进制文件处理;6)结合Pandas的数据处理流程。涵盖了从基础文件操作到复杂数据处理的全套解决方案,并提供了日志处理、数据清洗归档等综合应用示例。这些代码片段可直接用于实际项目开发,帮助开发
在现代企业中,早已不是简单的报表生成器,而是驱动决策的核心引擎。传统BI平台如Tableau、Power BI虽然强大,但在定制化、自动化和嵌入式场景下存在局限。本文将带你使用搭建一套可扩展的BI分析流水线,涵盖四大模块,并提供完整代码示例和流程图说明,助你在CSDN快速落地实战项目。
本文基于UCI机器学习库的ObesityDataSet数据集(2111条记录,17个字段),使用Python进行肥胖数据分析与挖掘。数据集包含性别、年龄、BMI等特征,目标变量将人群划分为7个肥胖等级。研究涵盖数据预处理、探索性分析、分类建模(随机森林准确率96%)、聚类分析和回归预测全流程,共生成19张可视化图表。项目完整实现了从数据清洗到模型部署的完整数据科学流程,为肥胖风险预测提供了有效的解
本文介绍了量化投资中的配对交易策略,以贵州茅台和五粮液为例,演示如何利用QuantDash获取历史数据并实现该策略。配对交易通过统计方法寻找价格偏离均值的高相关性股票组合,在价差回归时获利。文章详细拆解了策略的数学逻辑、数据准备方案对比(传统爬虫vs QuantDash SDK),并提供了完整的Python代码实现,包括数据获取、价差计算、Z-Score信号生成等关键步骤。最后解答了前复权价格的重
大家好,我是fairyran,上一篇我们搞定了Python量化开发环境的搭建,相信很多朋友已经成功运行了测试代码,获取到了上证指数的数据~ 今天我们进入核心基础环节,也是量化开发的“基本功”——Python数据类型。很多新手会觉得“数据类型很简单,没必要专门学”,但在量化开发中,数据类型用错,轻则导致代码报错、计算出错,重则影响策略逻辑(比如把股价字符串当成数字计算,把股票代码当成数值处理)。
大家好,今天分享一套大一课内数据分析完整实战项目 ——1896-2016 百年奥运数据探索与体育强国分析,基于 Kaggle 经典奥运数据集,完整覆盖数据读取、多表关联、缺失值清洗、特征工程、多维探索分析、中国专题、交互式可视化大屏全流程,适合数据分析入门练手、课程大作业、期末报告。athlete_events.csv 运动员明细表。
1. 核心目标:掌握多态与魔法方法,让自定义对象支持print输出、len()统计和运算符操作2. 核心知识点:多态概念与实现、__str__、__repr__、__len__、__add__运算符重载、__eq__比较重载3. 实操产出:迷你图书管理系统,综合运用类定义、继承、封装、多态、魔法方法、文件读写4. 前置基础:第17章封装、第16章继承、第15章类与对象
系列:Python 行情数据接入笔记(持续更新)指标可以本地用收盘价重算,也可以由数据接口直接给出。本篇演示通过mairui读取 MACD、KDJ、均线等序列,并给一个「读字段 → 简单交叉判断」的代码骨架。
本文详细介绍了使用Python的pandas库处理含特殊字符CSV文件的实战技巧。针对字段内包含逗号、引号、换行符等导致解析错误的问题,文章深入讲解了read_csv()函数的关键参数配置,并展示了如何结合正则表达式进行高级数据清洗,帮助数据分析师高效驯服复杂格式的CSV数据。
本文详细介绍了如何使用Python的BeautifulSoup和pandas库构建高效的旅游景点数据采集系统,涵盖网页结构分析、反爬策略、数据解析与清洗等关键步骤,并提供完整代码实现。通过实战案例,帮助开发者掌握网络爬虫技术,实现去哪儿网景点数据的自动化采集与分析。
本文提供了一份完整的Python实战教程,指导读者如何利用requests和BeautifulSoup库爬取豆瓣电影Top250数据,并通过pandas进行数据清洗与整理,最终保存至Excel文件。教程还详细展示了如何使用matplotlib和seaborn对数据进行多维度可视化分析,揭示评分分布、热度关系及国家/类型偏好等洞察,适合数据分析初学者入门实践。
1. 核心目标:学会用 def 定义函数,把代码打包成可复用的工具2. 核心知识点:def 定义函数、形参与实参、return 返回值、多返回值、函数调用流程、参数默认值3. 实操产出:封装温度转换、BMI计算、密码强度检测三个实用函数工具集4. 前置基础:第8章字符串格式化、第3章 if 条件判断、变量与数据类型
数据清洗是数据工程的核心环节,而非简单的预处理步骤。其本质是将业务规则编码为可执行、可审计、可回溯的计算逻辑,涉及缺失值语义归因、时间字段语义区分、主数据对齐、PDF非结构化提取及Schema驱动校验等关键技术原理。它直接决定模型效果、数据可信度与系统可维护性,在金融、医疗、零售等强监管行业尤为关键。本文聚焦真实生产环境中的高频挑战——如隐式类型转换错误、Unicode隐形字符干扰、坐标系版本混用
摘要: Pandas内置绘图功能通过封装Matplotlib实现高效数据可视化,支持单变量(折线图、柱状图、直方图等)与多变量(散点图、蜂巢图、堆叠图)图表绘制。其优势在于无需数据转换,自动处理索引与标签,并返回Matplotlib的Axes对象供进一步定制。综合案例演示了电商销售数据的趋势分析、品类拆解与折扣相关性探索。相比Matplotlib和Seaborn,Pandas绘图语法简洁,适合快速
在学习了 matplotlib 的基础折线图、散点图后,你是否想让你的数据可视化更具表现力和专业度?本文将带你深入 matplotlib 的“军火库”,解锁几种高级图形的绘制方法和核心知识点,让你的图表瞬间脱颖而出。这篇文章我们从基础的子图布局开始,进阶到展示多维数据的气泡图,深入统计学的直方图与箱线图,最后挑战了3D绘图、等高线、雷达图以及双Y轴技术。掌握这些图形,你将不再受限于简单的 Exce
费行惥门âœ。
1. 核心目标:掌握封装机制,能用私有属性和 property 装饰器保护类内数据安全2. 核心知识点:私有属性(__前缀)、命名重整、property 装饰器、getter/setter、只读属性、数据验证3. 实操产出:银行账户类,通过 property 控制存取款并验证金额合法性4. 前置基础:第16章继承、第15章类与对象
Pandas是Python数据分析的核心工具,基于NumPy构建,核心数据结构为Series(一维带标签数组)和DataFrame(二维表格)。Series可通过列表、字典、NumPy数组等方式创建,支持位置索引和标签索引访问数据,运算时自动按索引对齐。
1. 核心目标:掌握单继承、super()、方法重写与多继承,能用继承复用代码、用重写定制行为2. 核心知识点:单继承语法、super()调用父类、方法重写、多继承、MRO方法解析顺序3. 实操产出:动物王国继承体系(Animal基类+Dog/Cat/Bird子类)4. 前置基础:第15章类与对象(class定义、__init__、实例方法)
期末数据可视化课程设计,我选择以为研究对象,使用 Python 完成从数据清洗、特征工程到静态图表、统计图表、交互式图表的完整可视化分析流程,最终从经济总量、人口、投资、消费、收入、外贸、财政、就业、物价、民生支出等维度综合评估区域经济社会发展状况。
在现代企业数据驱动决策的浪潮中,早已不是仅靠Excel或传统报表工具就能满足的需求。越来越多的数据分析师和开发人员开始借助编程语言的力量,将。本文将以为核心技术栈,深入探讨如何构建一个可复用、易扩展的 BI 分析脚本框架,并通过真实样例代码展示其强大能力。
摘要:本文介绍了一个使用Pandas的iloc函数截取DataFrame数据的实用方法。通过封装slice_dataframe函数,可以灵活地截取指定区间的数据:当提供end参数时采用[start:end]左闭右开区间,不提供end时则截取到末尾(包含最后一行)。示例演示了从索引2到5(不含5)和从索引7到末尾的两种截取方式,验证了函数的正确性。该函数封装了iloc的切片逻辑,简化了DataFra
Python数据分析实战:Pandas处理缺失值的5个高级技巧 真实业务数据从来不会干净。今天把我在项目中踩过的坑,一次性整理给你。 做数据分析的都知道,数据清洗占整个分析工作量的60-80%。而缺失值处理,又是数据清洗中最常见的问题。 很多人遇到缺失值第一反应就是 df.dropna(),一行代码删完。然后呢?数据从10万行变成3万行,分析结论偏差巨大。 今天分享5个在真实项目中验证过的高级技巧
本文介绍了在Python 3.8系统未安装pip时的解决方案。用户下载了兼容的旧版pip-22.3.1.pyz,成功列出了已安装的包。通过配置阿里云镜像源并指定版本范围(如numpy>=1.21,<1.22),解决了新版本pip不支持Python 3.8的问题。安装过程中自动处理了依赖关系,最终成功安装了numpy、pandas和matplotlib等科学计算包。
本文介绍使用Python快速拆分Excel文件的方法。通过openpyxl和pandas库,实现将销售总表按销售员拆分为独立文件的功能。代码包含两个主要函数:init_excel()用于创建测试数据,生成包含随机销售记录的Excel文件;excel_data_seperate()则根据"销售员"列将总表拆分为多个文件,每个销售员对应一个独立文件。该方法适用于需要按特定列拆分Ex
掌握 Pandas,你就能:快速读取和整理数据高效分析数据趋势做出漂亮的报表和图表数据分析不再是难题,Python + Pandas,让你3分钟搞定Excel都做不到的事!
Agent Skill 评测工具 skill-up:确保智能体稳定运行的关键 阿里开源的 skill-up 项目为 Agent Skill 提供了一套完整的评测与演进工具,解决了智能体开发中的关键质量痛点。 核心价值 skill-up 通过声明式用例实现: 回归测试 - 确保 Skill 修改后不会退化 跨引擎验证 - 保证同一 Skill 在不同 Agent 平台表现一致 标准化评测 - 统一分
本文介绍了使用Pandas实现RFM客户价值分析模型的完整流程。RFM模型通过最近消费时间(Recency)、消费频率(Frequency)和消费金额(Monetary)三个维度评估客户价值。文章详细演示了从数据准备、RFM指标计算、分箱打分到客户分层的全过程,包括数据清洗、分组聚合、分位数切割等关键步骤,并提供了Python代码示例。最终根据RFM总分将客户划分为"重要价值客户&quo
核心目标:掌握函数参数的灵活用法与变量作用域,能写出更通用、更健壮的自定义函数核心知识点:默认参数、关键字参数、*args、**kwargs、参数顺序规则、全局/局部变量、函数嵌套、global关键字实操产出:可配置的学生信息统计工具,支持任意数量成绩统计与格式控制前置基础:第9章函数定义与调用、第7章字典、第4-5章循环与条件
修改视图(SettingWithCopyWarning)字符串方法(需指定 engine='python')筛选出2024年1月的数据(假设有date列)筛选出销售额大于10000的记录。筛选出产品名包含"金"字的产品。引用外部变量(用 @ 符号)筛选出华南区和华东区的数据。连续筛选建议合并为一个。
本文介绍了一种利用配对交易策略在波动市场中实现套利的方法,重点分析了白酒行业龙头股贵州茅台与五粮液的协整关系。通过Python和QuantDash平台,文章详细展示了从数据获取、协整检验到交易信号生成的全流程:1. 获取两只股票历史数据并进行协整性检验 2. 计算滚动价差和Z-Score指标 3. 设置±2为交易阈值信号(Z>2做空高价股/做多低价股,Z<-2反向操作) 4. 价差回归
Pandas分组聚合操作摘要 本文介绍了Pandas中强大的分组聚合功能,主要包含以下内容: 分组基础:使用df.groupby()创建分组对象,支持单列或多列分组,可查看分组信息(groups/indices/ngroups) 聚合操作: 基本聚合函数(sum/mean/count等) agg()多函数聚合(函数列表/字典/命名聚合) 内置字符串聚合函数 自定义聚合函数 其他分组操作: tran
pandas
——pandas
联系我们(工作时间:8:30-22:00)
400-660-0108 kefu@csdn.net