问题描述我想要运行一个python程序，要求：print输出显示在屏幕上和保存到文件中；想同时记录标准输出（stdout）和标准错误（stderr）。下文仅针对print进行输出设置，不涉及logging库。方式1：2>&1 >log.txt（不行）使用2>&1将stderr合并到stdout，同时保存结果到文件log.txt。cmd 2>&1 &g

【笔记】TinyBERT(EMNLP2019)两阶段蒸馏：预训练阶段+finetune阶段设计3种损失函数分布来适应bert的不同层级的损失计算embedding 层输出来自 transformer 层的隐藏层和注意力矩阵输出 logits 的预测层1. 知识蒸馏的设计可以将网络的任何一层称为行为函数（fff , behavior function），KD就是利用小模型（SSS, student）