logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【datawhale组队学习】Happyllm-Task08

Casual Language Model,下简称 CLM。Decoder-Only(GPT):像 “作家”,擅长从前往后 “创作” 内容,适合写文章、生成对话等 NLG 任务。Encoder-Only(BERT):像 “读者”,擅长 “理解” 现有文本的含义,适合阅读理解、语义匹配等 NLU 任务。Encoder-Decoder(T5):像 “翻译官”,既能理解输入(Encoder),又能生成输

#学习
TASK06 | Reasoning Kindom 因果的边界——观测数据永远不够

这五个问题,本质上都在追问同一个底层矛盾:仅凭观测数据,我们到底能学到多少因果知识?它的边界在哪里?忠实性假设、等价类问题:是在问“观测数据本身的信息局限性”。SCM参数学习、LLM因果推理:是在问“我们的模型/算法,能不能突破这种局限性”。跨分布泛化失败:是在问“这种局限性会在实践中如何体现”。

#学习
TASK05 | Reasoning Kindom拟合的陷阱 —— 统计相关性不是推理

论文的核心论点是:大型语言模型,无论训练在多少文本上,本质上都是在做统计模式匹配——它们学会了哪些词序列在训练语料里经常一起出现,然后在生成时复现这些模式。就像一只鹦鹉,听到了足够多的对话之后,能够在合适的时机说出”你好”或”再见”,但它不理解这些词的意义2023年,Hodel和West做了一个简单的测试。他们拿GPT-3做字母串类比推理——这是Webb等人在2023年声称GPT-3已经”涌现”出

#学习
TASK03 | Reasoning Kindom 从符号到向量——表示空间的第一次解放

从应用伦理角度,词向量中的社会偏见(如 vec(Doctor) 更接近 vec(Man),vec(Nurse) 更接近 vec(Woman))会放大现实中的性别歧视、种族歧视,导致 AI 系统做出不公平决策(如简历筛选模型优先推荐男性候选人)。

#学习
TASK04 | Reasoning Kindom流形假设——高维数据的隐秩序

采样是从总体(population) 中抽取一部分样本(sample) 的过程,目的是用少量样本的特性去估计总体的特性。这个概念不仅适用于机器学习,也贯穿于统计学、数据科学的所有领域。为什么机器学习必须采样?比如要训练一个 “识别猫” 的模型,总体是世界上所有的猫图片—— 数量无穷,不可能全部收集;再比如训练一个预测股价的模型,总体是所有时间维度下的股价数据—— 未来的数据还没发生,无法获取。因此

#学习
【datawhale组队学习】Happyllm-Task08

Casual Language Model,下简称 CLM。Decoder-Only(GPT):像 “作家”,擅长从前往后 “创作” 内容,适合写文章、生成对话等 NLG 任务。Encoder-Only(BERT):像 “读者”,擅长 “理解” 现有文本的含义,适合阅读理解、语义匹配等 NLU 任务。Encoder-Decoder(T5):像 “翻译官”,既能理解输入(Encoder),又能生成输

#学习
TASK02 | Reasoning Kindom 符号的黎明——因果的第一次建模

你的大脑在做的事情,是把这个新场景映射进一个内部的、高度压缩的世界模型——一个你花了几十年建立的、通过无数次经验不断更新的模型。的开发工具,有专门的工程师职位叫”知识工程师”,有大学开了专门的课程。这里有一个更深的哲学问题,1971 年,哲学家 Hubert Dreyfus 在他的《计算机不能做什么》里就提出过:人类的智能,在很大程度上依赖于我们对”什么是重要的”的直觉——而这种直觉是。他们花大量

#学习
TASK01 | Reasoning Kindom

但在细胞内部,维持着惊人的有序性:精确折叠的蛋白质,精确调控的离子梯度,精确转录的遗传信息。你走进一个黑暗的房间,你的大脑不是在空白状态下等待光子——它已经在预测这个房间里可能有什么,预测椅子在哪里,预测墙壁的质感。当条件改变——当它遇到训练分布之外的情况——它的预测就会崩塌,而且崩塌的方式往往是不可预期的、奇怪的。你的大脑大约消耗 20 瓦,大约是一个昏暗灯泡的功率,但它在做的计算,是任何现有的

#学习
claude code命令

branch这个命令以前叫/fork,现在改名成/branch了,打/fork还是能用,会自动跳到/branch。生成一份HTML报告,分析你过去一个月使用Claude Code的习惯,包括你最常用哪些命令,你有哪些重复性的操作模式,然后给你推荐一些自定义命令和Skills。比如我现在我开发了一个功能,我觉得不好,想撤销,我就可以先打/rewind,然后把这个会话里面的历史拽出来。在终端里打/rc

#学习
    共 45 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择