回答问题

我有 CSV 文件,我在 pandas 中读取了这些文件:

#!/usr/bin/env python

import pandas as pd
import sys

filename = sys.argv[1]
df = pd.read_csv(filename)

不幸的是,这些文件的最后一行经常损坏(逗号数量错误)。目前我在文本编辑器中打开每个文件并删除最后一行。

是否可以删除加载 CSV 的同一 python/pandas 脚本中的最后一行,以节省必须采取这个额外的非自动化步骤?

Answers

通过error_bad_lines=False它将自动跳过此行

df = pd.read_csv(filename, error_bad_lines=False)

error_bad_lines的优点是它会跳过并且不会在任何错误的行上出错,但如果最后一行总是 duff 那么skipfooter=1会更好

感谢@DexterMorgan 指出skipfooter选项强制引擎使用比 c 引擎解析 csv 慢的 python 引擎。