用C语言检测文本编码的方法

我们经常会想知道某些文本文件的编码，可是编码检测却并不是一件简单的事情，它需要对文本进行采样，统计分析后再进行字符集的匹配，不过值得庆幸的是有uchardet(https://code.google.com/p/uchardet/)这样的开源库可以帮忙这项艰巨的任务。uchardet是一个开源的用于文本编码检测的C语言库，其功能模块是用C++实现的，通过一定数量的字符样本独立的分析出文本的编码

文章共388字 · 阅读需要大约2分钟

一键AI生成摘要，助你高效阅读

问答

图灵狗

14202人浏览 · 2012-11-01 14:49:34

图灵狗 · 2012-11-01 14:49:34 发布

我们经常会想知道某些文本文件的编码，可是编码检测却并不是一件简单的事情，它需要对文本进行采样，统计分析后再进行字符集的匹配，不过值得庆幸的是有uchardet(https://code.google.com/p/uchardet/)这样的开源库可以帮忙这项艰巨的任务。

uchardet是一个开源的用于文本编码检测的C语言库，其功能模块是用C++实现的，通过一定数量的字符样本独立的分析出文本的编码，当前已经支持UTF-8/GB13080/BIG5等共30多种编码。稍感遗憾的是uchardet几乎没提供什么文档，幸好作者通过学习和研究已经掌握其基本用法，这里给出一个实例，以免大家走弯路。

#include <stdio.h>
#include <uchardet/uchardet.h>

/* 样本数量 */
#define NUMBER_OF_SAMPLES	(2048)

int main(int argc, char* argv[])
{
	FILE* file;
	char buf[NUMBER_OF_SAMPLES];
	int len;
	uchardet_t ud;

	/* 打开被检测文本文件，并读取一定数量的样本字符 */
	file = fopen("gb18030.txt", "rt");
	len = fread(buf, sizeof(char), NUMBER_OF_SAMPLES, file);
	fclose(file);

	/* 通过样本字符分析文本编码 */
	ud = uchardet_new();
	if(uchardet_handle_data(ud, buf, len) != 0)	/* 如果样本字符不够，那么有可能导致分析失败 */
	{
		printf("分析编码失败！\n");
		return -1;
	}
	uchardet_data_end(ud);
	printf("文本的编码方式是%s。\n", uchardet_get_charset(ud));	/* 获取并打印文本编码 */
	uchardet_delete(ud);

	return 0;
}