论文题目：FRESHLLMS:REFRESHING LARGE LANGUAGE MODELS WITH SEARCH ENGINE AUGMENTATION论文由Google、University of Massachusetts Amherst、OpenAI联合发布。大部分大语言模型只会训练一次，不会被频繁的更新，训练用到的知识会慢慢过时，所以它无法适应变化的世界。论文作者提出了动态问答的基准

ner目前主流的打开方式就是抽取器(lstm,cnn,transformer)+crf。今天介绍几种新的ner打开方式-prompt learning。prompt learning主要运用低资源场景下的ner，依靠预训练模型中通用的语言知识，能够应对数据少的ner场景。还有一个好处是可以做到持续学习，在新增实体label时，以前的模型需要重新训练，而prompt learning的方式可以通过构

SBERT的缺点和留下的疑问：1.需要监督语料。 微调时间不久，但是对语料质量还是有要求的。2.为什么bert句向量cosine不能用做相似性计算？i.没有学到语义相似性信息？ii.cosine无法刻画相似度？BERT-flow：训练到的句向量应该是包含了语义相似性信息。因为训练目标和相似性计算目标是一致的。所以原因应该是 ii.cosine不能很好刻画相似性。...

大模型背景下，两种不依赖大模型和prompt构建框架的的few shot文本分类方法，setfit和fastfit能够高效地实现少镜头下的文本分类任务。

利用ONNX runtime对transformer模型进行推理加速

1.一种新的MAE工作流，编码器和解器输入进行了不同的掩码。编码器编码的句子向量和解码器的掩码输入通过语言模型进行重构问句。2.非对称的模型结构，编码器拥有像BERT一样全尺寸的transformer，解码器只有一层的transformer。3.非对称的掩码比例，编码器：15%-30%，解码器：50%-70%。retroMAE这样设计的原因：1.auto-encoding对于编码质量的要求更高，传

github：https://github.com/MaartenGr/KeyBERTguides：https://maartengr.github.io/KeyBERT/guides/quickstart.html使用向量计算抽取关键词，只需要预训练模型，不需要额外模型训练。流程：1.没有提供分词功能，英文是空格分词，中文输入需要分完词输入。2.选择候选词：默认使用CountVectorizer

这篇博客介绍了一个名为“open-canvas”的开源项目，该项目由langchain.ai推出，旨在与ChatGPT合作进行写作和编程。博客详细描述了项目的实现逻辑，包括使用langgraph的流程图，说明了生成和修改内容（artifact）的各个节点及其输入输出关系。主要功能包括高亮选择、主题按钮的选择（针对代码和文本的不同主题），以及输入查询的处理。最后，博客提到用户风格和写作风格的反思过程

问题：之前写的SBERT模型接口部署上线后最近报了RuntimeError: Already borrowed的错误，在这里记录下。现象：具体的报错如下：File "/home/XXXX/XXX/src/sentence_proc.py", line 77, in compute_sentence_vectorssentences = self.tokenizer(sentences, paddi

由于在做一些语义相似的工作，其中看了陈丹奇组的SimCSE使用了对比学习刷新了有监督和无监督的SOTA，自己也在做一些相关的下游任务的实验，其中就使用了图像和nlp都非常火的对比学习的方法，看了一下张俊林大神知乎对于对比学习的研究进展精要，讲的还是一如既往的清晰易懂。还是做一下搬运工，做一下自己的提炼记录。对比学习分类对比学习是无监督学习中自监督学习中的一种，其中NLP中的预训练模型MLM就是自监