报错的含义是:unicodedecodeerror:“utf-8”编解码器无法解码位置0中的字节0xce:inva

字符编码问题

1.ASCLL与GB2312

**国标码是汉字的国家标准编码，目前主要有GB2312、GBK、GB18030三种。
GB2312编码方案于1980年发布，收录汉字6763个，采用双字节编码。
GBK编码方案于1995年发布，收录汉字21003个，采用双字节编码。
GB18030编码方案于2000年发布第一版，收录汉字27533个；2005年发布第二版，收录汉字70000余个，以及多种少数民族文字。GB18030采用单字节、双字节、四字节分段编码。**斜体样式

2.Unicode

Unicode把所有语言都统一到一套编码里，这样就不会再有乱码问题了。Unicode标准也在不断发展，但最常用的是用两个字节表示一个字符（如果要用到非常偏僻的字符，就需要4个字节）

3.UTF-8

UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符，用UTF-8编码就能节省空间。

结果办法

1.解决办法修改数据集的编码格式，重新读取即可。

txt = pd.read_csv(‘C:/Users/xxx/Desktop/文本.txt’,sep = ‘\t’,encoding = ‘utf-8’)
print(txt)

结果如下：

2.写个小函数判断到底是个别数据编码还是整体数据集编码不对

测试python3
#以读入文件为例：
f = open("C:/Users/xxxx/Desktop/文本.txt","rb")#二进制格式读文件
i = 0
while True:
    i += 1
    print(i)
    line = f.readline()
    if not line:
        break
    else:
        try:
            line.decode('utf8')
            #为了暴露出错误，最好此处不print
        except:
            print(str(line))

结果如下：

注：显示中文部分无法解析。

读取时也可以用二进制模式打开的文件（包括模式参数中的’b’）将内容作为字节对象，而不进行任何解码。 然后使用line.decode(‘gbk’)解码，其中的errors参数: 修改字符集参数，一般这种情况出现得较多是在国标码(GBK)和utf8之间选择出现了问题。 出现异常报错是由于设置了decode()方法的第二个参数errors为严格（strict）形式造成的，因为默认就是这个参数，将其更改为ignore等即可。