登录社区云，与社区用户共同成长
邀请您加入社区
过去几个月里，我们对于大语言模型的一系列探索，如 ChatGPT 端到端实践与应用开发、LLaMA 与 ChatGLM 的微调试验、GitHub Copilot 逆向工程分析、动态上下文工程（即 LangChain）的研究，驱使着我去写一个总结，也是一个面向程序员的 LLM 指南。也是好久没有写这个系列（程序员必知）的文章。作为一个从个人经验总结的文章，本文涉及的知识点可能有点多，主要会从以下几个
LoRa让我们的微调变得简单，而QLoRa可以让我们使用消费级的GPU对具有10亿个参数的模型进行微调，并且根据QLoRa论文，性能不会显著下降。
本文详细阐述了大型语言模型推理性能的几个基本原理，不含任何实验数据或复杂的数学公式，旨在加深读者对相关原理的理解。此外，作者还提出了一种极其简单的推理时延模型，该模型与实证结果拟合度高，可更好地预测和解释Transformer模型的推理过程。为了更好地阅读本文，读者需了解一些Transformer模型的相关先验知识，比如《图解Transformer》的...
Transformer语言模型的许多基本重要信息可以通过简单计算得出。不幸的是，这些计算公式在自然语言处理（NLP）社区中并不广为人知。AI非营利研究组织EleutherAI收集整理这些公式，并介绍这些公式的来源和重要性。注：本文主要关注显...
GPT模型作为自然语言处理领域的最前沿技术之一，其未来发展前景非常广阔。作为新时代的程序员，我们需要抓紧时代的浪潮，不断学习和掌握最新的自然语言处理技术，特别是GPT模型相关的技术和应用，以便在日后的职业生涯中不断提高自己的核心技能和竞争力，在新时代的浪潮中站稳时代的风口。
EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention论文浅析
作者| Lucy来源| AI科技大本营（rgznai100）文本分类是自然语言处理中最基本而且非常有必要的任务，大部分自然语言处理任务都可以看作是个分类任务。近年来，深度学习所取得的...
备受瞩目的开源创业公司Hugging Face一周之内完成了价值1亿美元的C轮融资。在完成此轮融资之后，Hugging Face估值将达到20亿美元。
作者 | 李秋键责编 | Carol来源 | AI科技大本营（ID:rgznai100）语义解析作为自然语言处理的重要方面，其主要作用如下：在词的层次上，语义分析的基本任务是进行词义消歧...
作者 | 何苗出品 | CSDN（ID：CSDNnews）凯文·凯利曾在著作《失控》中指出，“在人工智能时代，我们需要重新思考机器与人类的关系”，他的新书《5000天后的世界》则以“AI扩展人类无限可能性”为副标题 。如今 AI 发展再上一个台阶，GPT-4 让世界看到了 AI 的强大，也为人类获取知识的途径打开了新的可能，读书还有用吗？AI 时代，人们还有必要通过阅读书籍获取知识吗？...
作者 | 上杉翔二责编 | 张文头图 | CSDN 下载自视觉中国今天来看看『推荐系统 + 知识图谱』，又会有哪些有趣的玩意儿呢。Knowledge Graph知识图谱是一种语义图...
前段时间，我们老板召集了团队15个人，花了几个月的时间，整理更新了一份“英语学习资源的全面总结”里面涵盖了单词、语法、口语等内容压箱底货，分量很足！经老板准许，现拟招募2000名新朋友...
整理 |AI 科技大本营（ID:rgznai100）自然语言处理（NLP）被誉为 AI 皇冠上的明珠，传统 NLP 模型制作复杂，耗时耗力，且用途单一，难以复用。预训练语言模型是 NLP...
整理 | 郑丽媛出品 | CSDN（ID：CSDNnews）不得不说，GPT-4 发布的时间，实在是太“巧妙”了。谷歌：我宣布……开发者：天哪，GPT-4 出来了！谷歌：正式开放 PaLM API……开发者：GPT-4 也太强了吧，连网站都能做！谷歌：大家可以访问我们的大型语言模型了……开发者：快，我也要去试试 GPT-4！当整个科技圈都在为 GPT-4 的强悍而震惊时，无人在意的角落，谷歌正在努
2018年末，BERT横空出世，它采用自编码对句子进行表示，通过预测掩盖词和上下句之间的关系作为语言模型学习任务，使用更多的数据，更大的模型，在多个自然语言处理（NLP）任务中显著超越之...
【CSDN 编者按】随着网络性能的不断提升，视频已经成为越来越多人获取信息、娱乐休闲的主要方式，与此同时也涌现出了不少视频的创作人员，他们将喜欢的人、事、物，以具有创意的视频形式呈现出来，...
作者 |王昊出品 |IDEA研究院在深度学习发展的第三波浪潮中， ChatGPT引发了人们对人工智能前所未有的关注。它的出现意味着基于指令学习和人类反馈的AI技术成为人工智能领域的关键。然而，当前所展示的能力还远不是AI的最终形态，无论是产业界还是学术界都对其未来的发展抱有极大期待。换句话说，ChatGPT等技术也许只是人类进入下一代AI的起点。数据危机轰轰烈烈的技术演变背后，离不开强大的预训..
作者 | DougArcuri译者 | 弯月责编 | 孙胜出品 | CSDN（ID：CSDNnews）作为软件工程经理，我也会遇到人情世故的难题。最近一位团队成员提出了离职申请，是因为个人的原因，而且很直接。收到离职申请我知道他会离职，我很少有措手不及的时候，所以我早就有预感，事实证明我的预感没错。几周前，我就有一种感觉：“该来的迟早会来。”他们提出的问题、他们的疑虑以及他们有时会莫名离开办公室，
作者：郝逸洋整理：王子彧近一年，大型语言模型（LLM）对序列信息建模的能力有目共睹，创建了像 ChatGPT、GPT-4 这样惊人的产品。如果 AI 作为操作系统可以直接控制硬件，程序员就能解放双手去编写驱动、操作系统和软件或是研发新的硬件，这就是软件 3.0 的图景。2023 年 3 月 25 日，在 CSDN 与《新程序员》联合主办的“新程序员（NPCon）——
如今，在科技领域掀起了一股GPT3的热潮。大规模语言模型（比如GPT3）的潜力惊艳了我们。虽然这些模型还没有成熟到大多数企业将之直接面对消费者，但却展示出一些智慧的火花，并让人坚信其将会...
【CSDN 编者按】技术的快速发展促使人类语言与技术的结合来得更快，自然语言处理已然成为当下很热门的话题之一。所以，想要进军自然语言处理领域的朋友们，不妨看看这篇文章，把基础打牢。编译 ...
作者|Carol出品 | CSDN（ID：CSDNnews）“我走了很远的路，吃了很多的苦，才将这份博士学位论文送到你的面前。二十二载求学路，一路风雨泥泞，许多不容易。如梦一场，仿佛昨...
「极客头条」—— 技术人员的新闻圈！CSDN 的读者朋友们早上好哇，「极客头条」来啦，快来看今天都有哪些值得我们技术人关注的重要新闻吧。整理 | 苏宓出品 | CSDN（ID：CSDNnews）一分钟速览新闻点！字节跳动或将为Pico设备引入新应用，已向部分开发者提出报价优酷回应非会员收看3000秒广告：Bug已修复美团推出一站式企业消费管理服务“美团企业版”滴滴发布无人驾驶概念车：内置机械臂去掉
【CSDN 编者按】相信不少漫画迷都曾为了追漫画特地去学习外语，学外语的时候很累，看漫画的时候很爽。现在，东京大学两位博士研发了漫画文字自动翻译的一个工具，追漫再也不累了！作者 | 神经...
9月18日，2020中关村论坛“AI开源创新与产业智能化”平行论坛上，百度首席技术官、深度学习技术及应用国家工程实验室主任王海峰与来自政府、企业、学界的领导与嘉宾，共同探讨AI开源创新的价值及产业智能发展趋势。王海峰表示，人工智能高速发展，已成为新一轮科技革命和产业变革的重要驱动力量。这其中，人工智能技术的开源创新起到了很大的作用。一方面，开源创新可以加速技术的创新发展，不断拓展人类认知边界和技术
整理 | 郑丽媛出品 | CSDN（ID：CSDNnews）眼看着 ChatGPT 持续爆火了几个月，期间微软、谷歌、Meta 等科技巨头接连入局，如今英特尔也终于官宣“参赛”。上周末，在德国汉堡举行的国际超级计算大会 （ISC） 高性能会议 （HPC）上，英特尔不仅展示了其在 HPC 和 AI 工作负载方面的领先性能，还宣布了一项出人意料的计划：与阿贡国家实验室携手，用 Aurora 超级计算机
大型语言模型，即具有超过 1000 亿个参数的自然语言处理（NLP）系统，在过去几年中改变了 NLP 和 AI 研究。这些模型经过大量文本训练，在生成创意文本、解决数学问题、回答阅读理解等方面表现出令人惊讶的能力。然而，这样的模型通常要经过几十万个计算日的训练，因此在没有大量资金的情况下难以复制。2020年，OpenAI发布了具有1750亿参数的预训练模型，横扫文本生成领域。但“美中不足”的是一直
作者 | Eric Elliott译者 | 弯月责编 | 王晓曼出品 | CSDN（ID：CSDNnews）多年以来，人们一直对人工智能持怀疑态度。以至于“人工智能”这个词被各种嘲笑，甚至与误导、糊弄、幻想等词语画上了等号。我从很小开始就对自然语言处理非常感兴趣，但我对 AI 聊天机器人的表现一直很失望。然而，在最近几个月里，频繁地与 GPT-3 聊天之后，我确信：我们应该放下对 AI 的成见，承
【CSDN 编者按】一周之前，为了更好地追赶 OpenAI，Google 做了一个重大的决定：Brain 和 Deepmind 合并，这件事引得很多人的关注与不解。最近波及其中的 Google Brain 高级工程师 Brian Kihoon Lee 于上周被解雇，他毕业于麻省理工学院，一直深耕在机器学习的领域，推出了 AutoGraph 编译器和 Effective TF 2 。Google B
作者 | James Purtill译者 | 弯月责编 | 王晓曼出品 | CSDN（ID：CSDNnews）元宇宙（Metaverse）由Meta和Verse组成，Meta表示超越， verse是宇宙universe的意思，是一个虚拟时空间的集合，由一系列的增强现实（AR），虚拟现实（VR）和互联网（Internet）所组成。技术专家和风险投资家的世界里经常会冒出科幻般的未来，最近我们称之为“元
Gartner 将生成式 AI 列为 2022 年五大影响力技术之一，MIT 科技评论也将 AI 合成数据列为 2022 年十大突破性技术之一，甚至将 Generative AI 称为是 AI 领域过去十年最具前景的进展。未来，兼具大模型和多模态模型的 AIGC 模型有望成为新的技术平台。近来，腾讯发布的混元 AI 万亿大模型登顶权威中文测评基准 CLUE 榜并超越人类水平。混元 AI 大模型采用
作者| 张俊林责编| 王子彧出品 | CSDN（ID：CSDNnews）如今，大语言模型已经彻底改变了自然语言处理 (NLP)的研发现状。众所周知，增加语言模型的规模能够为一系列下游 NLP 任务带来更好的任务效果，当模型规模足够大的时候，大语言模型会出现涌现现象，就是说突然具备了小模型不具备的很多能力。本文整理自 3 月 11 日 「ChatGPT 及大规模专题研讨会」上，来自新...
当人人具备编写代码的能力之后，这将会给软件生产和分配带来哪些结构性的变化？原文链接：https://www.geoffreylitt.com/2023/03/25/llm-end-user-programming.html未经授权，禁止转载！作者|Geoffrey Litt译者|弯月责编 |王子彧出品 | CSDN（ID：CSDNnews）近段时间，大语言模型掀起了一股狂潮。 Op...
「极客头条」—— 技术人员的新闻圈！CSDN 的读者朋友们早上好哇，「极客头条」来啦，快来看今天都有哪些值得我们技术人关注的重要新闻吧。整理 | 梦依丹出品 | CSDN（ID：CSDNnews）一分钟速览新闻点！腾讯会议：将取消免费用户“300 人不限时会议”使用权限华为开发出芯片堆叠技术方案？官方回应：谣言李开复称 AI 2.0 已至，将诞生新平台并重写所有应用GPT-4 发布：考试击败 90
作者 |山竹小果来源 | NewBeeNLP（id：NewBeeNLP）今天分享来自微软最近关于语言模型和对抗训练的工作：论文：Adversarial Training for Lar...
作者 | 杨海钦出品 | CSDN（ID：CSDNnews）自1956年的达特茅斯会议开启“人工智能元年”，该领域经过了两起两落。到2006年前后，虽然Hinton等人已发表论文证明，通过增加神经网络的层数，可以学到更好的数据表征，并进一步提升模型的性能，但是大家认为这还是新瓶换旧酒，还在迟疑中。直到深度学习概念的推广，在语言识别等领域获得成功。特别是2012年AlexNet在ImageNet的比
作者 | 马超责编 | 伍杏玲出品 | CSDN（ID:CSDNnews）今日，浙江高考满分作文《生活在树上》突然火爆全网，由于这篇文章晦涩难懂，最初评分的老师先给出 39分，但经阅卷...
作者 |马超责编 | 伍杏玲出品 | CSDN（ID：CSDNnews）前不久OpenAI发布最新的NLP模型GPT-3，这两天霸榜GitHub趋势榜：这个模型的出现证明在AI领域的...
作者 | 八宝粥出品 | 程序人生（ID：coder_life）9 月 20 日，微软宣布与 OpenAI 达成合作协议，得到了目前最火的 GPT-3 语言模型的独家授权，微软 CTO ...
整理 | 朱珂欣出品 | CSDN（ID：CSDNnews）众所周知，去年初创公司 Stability AI 发布的 AI 图像生成工具 Stable Diffusion，成为一种革命性的图像模型，也使 AI“文生图”实现了飞速的发展。满载着大家对其“不再局限于开发图像生成”和“开源”的期待，在 4 月 20日， Stability AI 宣布推出开源大型语言模型（LLM）—— StableLM.
自然语言处理
——自然语言处理
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
苏州城市开发者社区
Eolink开发者社区
深圳城市开发者社区
百度飞桨AI Studio社区
《新程序员》社区
