1.参考Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）https://github.com/ymcui/Chinese-BERT-wwmTransformers: State-of-the-art Natural Language Processing for TensorFlow 2.0 and P...

近期大模型的出现极大的提升了复杂问题的多步推理能力，例如可以通过逐步思考（CoT）改善推理任务，但是即使最先进的模型也会产生逻辑错误。如何训练一个更好的reward model，来做大模型的alignment对齐研究也是一个具有挑战的问题。结果监督（只提供最终的结果作为监督信号）和过程监督（提供每一个中间推理结果的反馈）哪个好，还有待详细对比和研究。实验步骤和方法：训练最可靠的reward mod

NLP重要的范式为在通用数据集上预训练，然后特定领域微调，但是随着模型越来越大，继续全量fine-tuning变得越来越不可能。本文提出低秩Adaptation（LoRA），冻结了预先训练的模型参数，将可训练的秩分解矩阵注入到Transformer架构的每一层中，大大减少了下游任务的可训练参数的数量，训练参数只有GPT-3 175B模型的万分之一，GPU内存只需要1/3。

1 安装http://pydicom.readthedocs.io/en/stable/getting_started.htmlwindows需要下载exe文件安装，linux直接命令安装即可2 使用https://pyscience.wordpress.com/2014/09/08/dicom-in-python-importing-medical-image-data-into-

1 docker一些介绍注（92服务器上已经配置好docker，但是需要sudo命令才能运行）这俩篇文章介绍了docker大概是怎么玩的。大白话Docker入门（一）https://www.atatech.org/articles/65782#6大白话Docker入门（二）https://www.atatech.org/articles/65863基本使用的话，了解这些应该差不多

1 docker一些介绍注（92服务器上已经配置好docker，但是需要sudo命令才能运行）这俩篇文章介绍了docker大概是怎么玩的。大白话Docker入门（一）https://www.atatech.org/articles/65782#6大白话Docker入门（二）https://www.atatech.org/articles/65863基本使用的话，了解这些应该差不多

一 why tfrecord?对于数据量较小而言，可能一般选择直接将数据加载进内存，然后再分batch输入网络进行训练（tip:使用这种方法时，结合yield 使用更为简洁，大家自己尝试一下吧，我就不赘述了）。但是，如果数据量较大，这样的方法就不适用了，因为太耗内存，所以这时最好使用tensorflow提供的队列queue，也就是第二种方法 从文件读取数据。对于一些特定的读取，比如csv文件格式，

#include <opencv2/highgui.hpp>#include <opencv2/imgproc.hpp>#include <iostream>using namespace cv;using namespace std;int main(int argc, const char** argv){//Mat im = imread("D:\\software\\ope

ubuntu 14.04LTS下源码编译安装TensorFlow-No GPU1 下载源代码git clone --recurse-submodules https://github.com/tensorflow/tensorflow2 安装goolge构建工程工具Bazel系统环境：Ubuntu Linux 14.04 LTSJava JDK8或者更新1) 安装JDK8sudo apt-g

比赛排行榜：总体上，RAG + LLM结合的模型可以在知识来源、检索方法、基座模型及其尺寸、是否需要微调等多个方面进行优化，针对本次比赛，对我收集到的一些方法进行对比，方便大家参考。RAG检索对于最终效果非常重要。包括不断优化检索数据质量，利用多种检索策略，基于传统方法（es，bm25，tfidf等），基于向量（开源方法，SimCSE训练），还可以通过ranker等方法筛选更好的结果都能带来不错的