从SPSS到Python：用sklearn和factor_analyzer搞定主成分与因子分析全流程

当数据科学从业者从SPSS的图形界面转向Python的代码实现时，最大的挑战往往不是算法本身，而是如何将熟悉的统计流程映射到编程环境中。本文将手把手带你完成这一技术迁移，重点解决三个核心痛点： 自动化流程搭建 、 结果解读对标 和 可视化呈现优化 。

1. 环境配置与数据准备

1.1 工具链选择建议

对于习惯SPSS的分析师，建议采用以下Python技术栈：

# 基础数据处理
import pandas as pd
import numpy as np

# 分析核心库
from sklearn.decomposition import PCA
from factor_analyzer import FactorAnalyzer

# 可视化
import matplotlib.pyplot as plt
import seaborn as sns

1.2 数据标准化处理

与SPSS自动标准化不同，Python需要显式执行标准化操作。这里推荐两种常用方法：

方法一：sklearn的StandardScaler

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df_scaled = scaler.fit_transform(raw_data)

方法二：手动Z-score标准化

df_scaled = (raw_data - raw_data.mean()) / raw_data.std()

注意：因子分析对量纲敏感，务必在所有分析前完成标准化

2. 主成分分析(PCA)实战

2.1 sklearn实现流程

# 初始化模型（设置主成分数量为3）
pca = PCA(n_components=3) 

# 拟合模型并转换数据
principalComponents = pca.fit_transform(df_scaled)

# 获取结果
print("各主成分方差解释率:", pca.explained_variance_ratio_)
print("累计方差解释率:", np.cumsum(pca.explained_variance_ratio_))

2.2 结果解读对照表

SPSS输出项	Python对应获取方式	业务含义解释
特征根	pca.explained_variance_	主成分的重要性指标
方差贡献率	pca.explained_variance_ratio_	各主成分解释原始数据变异的比例
累计贡献率	np.cumsum(pca.explained_variance_ratio_)	前n个主成分累计解释能力
成分矩阵	pca.components_	原始变量与主成分的相关关系

2.3 可视化优化技巧

碎石图绘制改进版 ：

plt.figure(figsize=(10,6))
plt.plot(range(1, pca.n_components_+1), 
         pca.explained_variance_ratio_, 'o-', linewidth=2)
plt.axhline(y=0.8, color='r', linestyle='--')
plt.title('Scree Plot with 80% Threshold')
plt.xlabel('Principal Components')
plt.ylabel('Variance Explained')
plt.grid()

3. 因子分析进阶实现

3.1 factor_analyzer库详解

# 初始化因子分析模型
fa = FactorAnalyzer(n_factors=3, rotation='varimax')

# 拟合模型
fa.fit(df_scaled)

# 获取旋转后的因子载荷矩阵
loadings = fa.loadings_

关键参数对比 ：

• rotation ：支持多种旋转方法
  • 'varimax'（默认）：方差最大化旋转
  • 'promax'：斜交旋转
  • None：不旋转

3.2 结果可视化呈现

热力图增强版 ：

plt.figure(figsize=(12,8))
sns.heatmap(loadings, 
            annot=True, 
            cmap='Spectral',
            center=0,
            fmt=".2f",
            linewidths=.5)
plt.title('Rotated Factor Loadings Heatmap')
plt.xlabel('Factors')
plt.ylabel('Variables')

3.3 与SPSS结果对齐技巧

1. KMO检验实现 ：

from factor_analyzer.factor_analyzer import calculate_kmo
kmo_all, kmo_model = calculate_kmo(df_scaled)
print(f'KMO检验值: {kmo_model:.3f}')

2. Bartlett球形检验 ：

from factor_analyzer.factor_analyzer import calculate_bartlett_sphericity
chi_square_value, p_value = calculate_bartlett_sphericity(df_scaled)
print(f'Bartlett检验p值: {p_value:.4f}')

4. 高级应用场景

4.1 机器学习管道集成

from sklearn.pipeline import Pipeline
from sklearn.ensemble import RandomForestClassifier

# 构建包含PCA的机器学习流程
pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('pca', PCA(n_components=0.95)), # 保留95%方差
    ('clf', RandomForestClassifier())
])

# 交叉验证
from sklearn.model_selection import cross_val_score
scores = cross_val_score(pipe, X, y, cv=5)

4.2 因子得分计算

# 获取因子得分
factor_scores = fa.transform(df_scaled)

# 综合评分计算（加权平均）
weights = fa.get_communalities()
composite_score = np.average(factor_scores, weights=weights, axis=1)

4.3 批处理自动化脚本

def auto_fa_analysis(data, n_factors=None):
    """自动化因子分析流程"""
    # 自动确定因子数量
    if n_factors is None:
        pca = PCA()
        pca.fit(data)
        n_factors = sum(pca.explained_variance_ > 1)
    
    # 执行因子分析
    fa = FactorAnalyzer(n_factors=n_factors, rotation='varimax')
    fa.fit(data)
    
    # 生成报告
    report = {
        "loadings": fa.loadings_,
        "communalities": fa.get_communalities(),
        "scores": fa.transform(data),
        "kmo": calculate_kmo(data)[1],
        "bartlett": calculate_bartlett_sphericity(data)[1]
    }
    return report

5. 疑难问题解决方案

5.1 常见报错处理

• 非正定矩阵错误 ：

  • 检查变量间是否存在完全共线性
  • 尝试增加样本量或删除高相关变量

• 因子不收敛 ：

  • 调整最大迭代次数 max_iter
  • 尝试不同的旋转方法

5.2 与SPSS结果差异分析

可能的原因包括：

1. 标准化方法不一致
2. 旋转算法实现差异
3. 收敛阈值设置不同

验证方法：

# 对比SPSS和Python的因子载荷
def compare_loadings(py_loadings, spss_loadings):
    diff = np.abs(py_loadings - spss_loadings)
    print(f"最大差异: {diff.max():.4f}")
    print(f"平均差异: {diff.mean():.4f}")

5.3 性能优化技巧

对于大数据集：

• 使用 svd_solver='randomized' 参数加速PCA
• 考虑使用Dask或Spark进行分布式计算

# 大数据PCA优化示例
pca = PCA(n_components=10, svd_solver='randomized', iterated_power=3)