词袋模型（One-hot）词袋模型：最早的以词为基本处理单元的文本向量化方法，词袋模型通过先构建一个包含语料库中所有词的词典，然后根据词典完成对每个词的向量化，进而完成文本向量化。通过词典将所有的词向量化，每个词的向量长度都是词典的大小，然后向除了一个位置的元素是1，这个位置是词在词典中的index，其他元素全是0。这种表示方法称为one-hot向量表示，如下：watch = [0, 0, 0,

OCR常用识别算法综述

LangChain 实践之工具使用

使用pdfplumber包转换excel,注意转换后pdf的换号符会保留。import pdfplumberfrom openpyxl import Workbookfrom tqdm import tqdmdata_folder = './pdf/'# file_name = data_folder+'医保药品分类与代码数据库更新202110.pdf'file_name = data_folde

Table Transformer做表格检测和识别实践

预知识数据仓库数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。Hive与Hadoop生态系统中其他组件的关系1.Hive基本概念1.1 什么是 HiveHive：由 Facebok 开源用于解决海量结构化日志的数

内容来自：大数据技术视频课程目标课程模块第一讲 大数据概念及计算简介要求：对本课程教学目标、内容、方式做一个全面概要介绍内容：了解数据科学的发展背景和要解决的问题，介绍大数据概念和再现代服务行业的应用情况。重点是大数据的概念和数据科学的发展史第二讲 大数据计算体系与模式要求:介绍大数据存储系统和数据处理平台内容:让学生了解主要的大数据存储系统,包括数据的清洗、建模、分布式文件存储、NoSQL数据库

将虚线膨胀为实线，通过高度和宽度找到轮廓，再将轮廓内的面积涂白色。

步骤：1.准备语料和字典2.处理数据，分字/词，遍历语料每一个词或者字，如果该词或者字不在字典中，设置为[UNK]3.处理后的数据放入模型(gensim/glove)训练，若经过一定epoch,loss值变化不大，则收敛，停止训练，保存得到embedding和字典(后续任务可能会用上)各种词向量的特点：One-hot：维度灾难 and 语义鸿沟矩阵分解（LSA）：利用全局语料特征，但SVD求解计算

总结：只有jieba,cutword成功将色盲色弱成功分对,这两个库字典应该是最全的。