版本问题，注意docling==2.41.0, 有坑，加载不到模型。但是，我相信你跟我一样，网速不行。因此你的模型下载失败，所以你需要独立下载！假设你网速很快，运行下面的命令在终端进行安装。

所以我又想着对Robert使用训练集进行预训练，然后再尝试进行预测吧！最近科大讯飞比赛又开始了。目前我参加了基于文本的违禁词分类挑战赛，这是一个文本分类比赛。目前的分数在0.67左右，但是后续使用好几个策略都没提高分数！

之前用过这个模型，现在也就想写一下。看过很多资料，这个文章最舒服大家可以参考下。tabnet的主体思想是用nn来表示决策树，深度学习能够对多种类型数据进行编码，并将其结合起来减轻特征工程的依赖、端到端的表征学习。

特性绝对位置编码学习型位置编码相对位置编码旋转位置编码 (RoPE)位置信息类型绝对位置绝对位置相对位置相对位置实现难度简单中等较复杂较复杂计算效率高中中高适应序列长度固定长度，泛化较差固定长度，泛化较差动态长度，泛化较好动态长度，泛化较好应用场景短文本，中短文本短文本，中短文本长文本，复杂任务长文本，复杂任务RoPE和相对位置编码在处理长文本上表现出色，而学习型位置编码更适合较固定长度的序列。

P-Tuning 是在 Prompt-Tuning的基础上，通过新增 LSTM 或 MLP 编码模块来加速模型的收敛；

``python```- `d_model`：输入和输出的特征维度（隐藏单元数）。- `nhead`：多头注意力机制中的头数。- `dim_feedforward`：前馈神经网络中间层的维度。- `dropout`：Dropout 层的丢弃率。- `activation`：激活函数的类型，默认为 ReLU。`nn.TransformerEncoderLayer` 的输入和输出形状如下：输入形状：(

大模型（如GPT、BERT、PaLM等）的成长历程可以看作是一个技术栈的持续进化，涉及预训练、微调、强化学习、对齐（Alignment）等关键阶段。每个阶段解决不同问题，推动模型从“通用语言模型”发展为“有用、安全、可控的AI助手”。首先预训练是一个基础过程，好比一个刚入武术道的初学者，把扎实的基本功打牢固然后才能为后续的难题发功发力。我们这里主要讨论生成式大语言模型。目标就是一个预测下一个tok

分析一下：特征工程如何做。

TCN（全称Temporal Convolutional Network），时序卷积网络，是在2018年提出的一个卷积模型，但是可以用来处理时间序列。一维卷积：在时间步长方向（句子方向）进行滑动，并且输入通道的大小与词向量的大小相同。二维卷积： 先平移然后可下移（宽的方向、高的方向）；

catboost模型介绍