登录社区云，与社区用户共同成长
邀请您加入社区
转自：新智元话说，ChatGPT 开源，是一件好事吗？此前，OpenAI 不 Open 的事件，已经引发了坊间的诸多争议。光放出基准和测试结果，不提供训练数据、成本、方法，是真的要「赢家通吃」了。眼看大语言模型似乎要被巨头公司垄断，如今忽然杀出一个初创公司，给了OpenAI一枪——用60亿参数的「Dolly」实现了和ChatGPT相似的能力。没错，我们现在只需要准备一些高质量的训练数据，再随便拿一
源｜新智元Meta的LLaMA模型开源，让文本大模型迎来了Stable Diffustion时刻。今天，斯坦福发布了一个由LLaMA 7B微调的模型Alpaca，训练3小时，性能比肩GPT-3.5。一觉醒来，斯坦福大模型Alpaca（草泥马）火了。没错，Alpaca是由Meta的LLaMA 7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。关键是训练成本奇低，不到600美元。具体
据悉，C-Eval Hard（难题）类别是首个提供中文复杂推理能力的测试，“即便是GPT-4来做这个题也会很吃力，”张旭提及，“这是‘闭卷考试’，而以往如AGIEval和MMLU是‘开卷考试’，也就是说，AGIEval和MMLU是各公司自己测试、自己打分、自己公布成绩，而C-Eval Hard的评比显然更加客观、可信。为了弥补中文大模型在评测领域的缺失，日前由清华大学、上海交通大学和爱丁堡大学合作
本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式)一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾
【CSDN 编者按】本文作者发现在两个 A100 的机器上，使用 Llama 补齐 token 的成本比 GPT-3.5 更高。这是为何？他以长度为 N，批次大小为 B 的序列为例展开真实评测，不妨一起看下。原文链接：https://www.cursor.so/blog/llama-inference未经允许，禁止转载！作者 | Aman Sanger译者| 弯月责编 |夏萌出品...
