摘要

一颗卫星在轨道上不断拍摄图像、采集遥感数据，却只有有限的时间和带宽把信息传回地面。为什么压缩能够帮助它把更多有价值的数据送回地球？为什么人类能够从纷繁复杂的世界中发现规律？为什么一个会预测下一个词的语言模型，也能表现出翻译、问答、写作甚至一定程度的推理能力？为什么科学家愿意悬赏奖励能够把维基百科压缩得更小的人？这些看似不同的问题，都指向一个重要思想：智能与压缩之间存在深刻联系。压缩并不只是把文件变小，它更意味着发现重复、识别结构、建立模型，并用更短的描述解释更多现象。一个系统越能准确预测未来的数据，就越能减少记录这些数据所需的比特数；反过来，一个优秀的无损压缩器，也必然包含某种关于数据规律的预测模型。然而，“压缩即智能”并不是说压缩率可以完整衡量一切智能。目标、行动、价值判断、因果推理和社会理解等能力，不能被简单归结为文件大小。本文从香农信息论、算法信息论、最小描述长度原则、语言模型、神经压缩、脑科学和模型压缩等角度，解释“压缩即智能”的科学依据、现实应用与理论边界。

关键词：压缩；人工智能；信息论；预测；语言模型；最小描述长度；算法信息论

引子：当卫星在太空中遇到“数据洪流”

今天的卫星通信正在快速变化。传统通信卫星主要承担广播、电话和专用链路，而低轨卫星星座、遥感卫星、气象卫星、导航增强系统和深空探测器正在把太空变成全球信息基础设施的一部分。3GPP 已在 Release 17 中首次为非地面网络（Non-Terrestrial Networks，NTN）制定规范性要求，并在 Release 18 中继续增强卫星接入、覆盖和移动性能力[16]。这意味着卫星通信正在逐步与地面 5G 网络衔接，未来的手机、物联网设备和行业终端可能在更广泛的区域直接使用卫星链路。

与此同时，卫星载荷产生的数据量也在迅速增长。更高分辨率的相机、更宽光谱范围的传感器、更高采样率的科学仪器，都让卫星能够看得更清楚、测得更精细。但卫星并不能像地面数据中心那样随时接入光纤。它必须依靠有限的发射功率、天线尺寸、频谱资源和地面站可见时间，把数据从数百公里甚至数亿公里外传回地球。ESA 指出，现代仪器产生的原始数据经常超过可下传能力，因此星上数据处理通常必须包含数据压缩或数据缩减[17]。

通信技术本身当然也在进步。NASA 的深空光通信实验已经证明，激光通信在相近尺寸和功率条件下可以实现至少比先进射频系统高 10 倍的数据速率[18]。但更快的链路并不会消除压缩的价值：当链路容量提高，任务设计者往往会选择更高分辨率、更高帧率和更多传感器，数据需求随之继续增长。对于卫星而言，每少传一个不必要的比特，就可能节省能量、缩短占用链路的时间，或为另一幅图像、另一组科学观测腾出空间。

于是，一个现实问题出现了：卫星怎样判断哪些数据可以用更短的方式表达，哪些细节必须完整保留，哪些异常现象绝不能被当作噪声丢弃？回答这些问题，需要系统发现数据中的规律，并对尚未传输的内容作出预测。压缩由此不再只是“把文件变小”的工具，而开始显露出与学习、理解和智能相通的底层逻辑。

一、压缩不只是“把文件变小”

提到压缩，人们首先想到的往往是 ZIP 压缩包、手机照片、网络视频和音乐文件。它们的共同目标似乎很朴素：占用更少的存储空间，消耗更少的网络流量。但如果继续追问“为什么数据能够被压缩”，答案就会触及智能的核心。

假设一段文本由一万个完全随机的字符组成，每个字符都与前后内容毫无关系，那么它几乎无法被有效压缩。因为压缩器没有规律可利用，只能老老实实地记录每一个字符。相反，如果一段文本是“哈哈哈哈哈哈……”的重复，压缩器只需要记录“重复一万个‘哈’”即可。原本很长的数据，被一个简短规则所取代。

现实数据通常处在这两个极端之间。自然语言不是随机字符的堆积，而是受到语法、语义、常识和上下文的约束；照片不是随机像素的集合，而是由边缘、纹理、物体和光照组成；音乐不是随机声波，而是包含节奏、和声和旋律；人的行为也往往受到习惯、环境和目标影响。只要数据中存在规律，就存在压缩的可能。

因此，压缩的本质不是删除数据，而是用规律替代重复。一个优秀的压缩器必须回答三个问题：哪些内容是可预测的？哪些内容是真正意外的？怎样用最少的比特记录这些意外？从这个角度看，压缩已经不再只是计算机工程中的存储技术，而是一种理解世界的方法。所谓“理解”，在很大程度上就是从大量细节中提取稳定结构，用简洁模型解释复杂现象。

二、香农信息论：越意外的信息，需要越长的编码

1948 年，克劳德·香农发表《通信的数学理论》，奠定了现代信息论的基础[1]。香农没有讨论一句话是否有哲学意义，也没有判断一幅画是否优美。他关注的是一个更基础的问题：消息到底包含多少信息，以及传输这些消息至少需要多少比特。

在香农信息论中，信息量与事件的意外程度有关。一个几乎必然发生的事件，告诉我们之后并不会带来多少新信息；一个极少发生的事件一旦出现，就会带来更多信息。例如，“太阳明天从东方升起”并不令人惊讶，而“某城市六月下雪”则更值得记录。

若一个事件发生的概率为 p，它的理想编码长度可以写成 I(x) = -log₂ p(x)。事件越可能发生，所需编码越短；事件越不可能发生，所需编码越长。如果一个模型能够准确估计各种事件发生的概率，就能为常见事件分配短编码，为罕见事件分配长编码，从而降低平均编码长度。香农的信源编码理论说明，在理想条件下，无损压缩的极限与信息熵密切相关[1][2]。

这揭示了预测与压缩之间的直接关系。假设一个模型看到“今天天气很”，它认为下一个字是“好”的概率为 80%，那么“好”就只需要较短的编码；如果实际出现的是模型认为概率极低的“硬”，则需要更长的编码。模型预测得越准，平均编码长度就越短。现代压缩算法中的算术编码、范围编码和熵编码，都在不同程度上利用了这一思想。

图 1  事件概率与理想编码长度的关系（原创示意图）

三、从“统计规律”到“最短程序”

香农信息论主要研究随机变量和概率分布，但现实中还有另一类问题：如何衡量某一个具体对象的复杂程度？例如，“0101010101010101”可以被描述为“重复 8 次 01”，而一个缺少明显规律的同长度二进制串往往需要逐位记录。即使两者字符数量相同，它们的复杂程度也不同。

20 世纪 60 年代，雷·索洛莫诺夫、安德雷·柯尔莫哥洛夫和格雷戈里·蔡廷分别发展了算法信息论的相关思想[3][4]。其中，柯尔莫哥洛夫复杂度可以粗略理解为：能够生成某个对象的最短程序长度。若一个字符串可以由非常短的程序生成，它就是可压缩的；若不存在明显短于字符串本身的生成程序，它就接近不可压缩。

这一思想带来一个极具吸引力的判断标准：最好的解释，往往是能够最简洁地生成观察数据的解释。科学研究本身就具有这种压缩特征。牛顿万有引力定律用一个简洁公式概括大量天体运动；元素周期表将众多化学元素组织为有规律的结构；达尔文的自然选择理论为生物多样性提供统一解释。科学理论并不是把所有观察结果逐条背下来，而是用较短的规则解释大量事实。

从这个意义上说，科学发现是一种高级压缩。一个理论越能以简洁方式解释更多现象，它就越具有认知价值。当然，简洁不是唯一标准。一个理论还必须准确、可检验，并能对未知情况作出可靠预测。

四、最小描述长度：好的模型既不能太笨，也不能太复杂

1978 年，尤尔马·里萨宁提出了“最短数据描述建模”思想，后来发展为最小描述长度原则，即 Minimum Description Length，简称 MDL[5][6]。MDL 的核心观点是：在多个能够解释数据的模型中，应选择使“模型本身的描述长度”与“模型未能解释的数据描述长度”之和最短的模型。

如果模型过于简单，它无法解释数据，剩余误差会很大。例如，用一句“所有学生成绩都一样”来描述一个班级的考试结果，模型本身很短，但误差很多。如果模型过于复杂，它可能逐一记住每个学生的分数，虽然误差为零，但模型本身与原始数据一样长，没有真正发现规律。

最好的模型位于两者之间：它既抓住了稳定规律，又没有把偶然噪声当成规律。这与机器学习中的“过拟合”问题高度一致。一个模型在训练集上表现完美，却无法处理新数据，往往只是记住了数据，而没有实现有效压缩。MDL 将奥卡姆剃刀从一句哲学格言转化为可以计算的模型选择原则。

图 2  最小描述长度原则中的复杂度权衡（原创示意图）

五、预测、压缩与学习为什么彼此相连

学习的目标通常是从过去的数据中发现规律，并把这些规律用于未知情况。压缩的目标则是利用数据中的规律，减少表示数据所需的比特数。两者看似不同，实际上共享同一个核心：建立能够预测数据的模型。

如果一个系统知道英语中“Thank you very”后面大概率出现“much”，它就无需为“much”分配很长的编码。如果它知道照片中天空附近的像素通常颜色相近，就可以只记录少量变化。如果它知道一段音乐的节奏模式，就可以更高效地表示后续音符。

反过来，若一个压缩器能够把自然语言压缩得很好，它就必须在一定程度上掌握语言中的统计结构。它可能需要识别词频、语法、固定搭配、文章主题，甚至某些现实知识。例如，看到“巴黎是法国的”，知道后面大概率是“首都”的模型，比完全不了解地理知识的模型更容易压缩这句话。

因此，预测误差可以转化为编码长度，编码长度也可以转化为预测能力。2023 年的一项研究系统展示了语言模型与无损压缩之间的联系：强大的语言模型可以作为通用预测器，并被转换为压缩器；传统压缩器也可以被转换为生成模型[7]。不过，这并不意味着语言模型已经真正理解了所有图像和声音，更不意味着压缩率能够替代所有智能测试。

六、为什么语言模型像一台“知识压缩机”

现代大语言模型的训练任务，通常是根据已有文本预测下一个词或下一个词元。Transformer 架构通过注意力机制处理上下文，使模型能够根据前文为后续内容分配概率[8]。训练过程中，模型不断调整参数，以降低预测错误和交叉熵损失。

从压缩角度看，这相当于让模型学习怎样用更少的比特编码文本。模型若认为正确答案的概率更高，编码该答案所需的长度就更短；若模型经常把高概率分配给错误答案，编码长度就会增加。语言模型常用的困惑度指标，本质上也与平均编码长度相关。

这解释了一个看似神奇的现象：为什么只训练“预测下一个词”，模型却能获得问答、翻译、摘要和写作能力？因为要在海量文本上持续提高预测准确率，模型不能只记住局部词频，还需要提取更深层的规律。它必须逐渐掌握语法结构、语义关联、文体差异、事实知识和上下文关系。越多的规律被吸收到参数中，模型就越能准确预测文本。

大语言模型的参数可以被看作一种高度浓缩的统计知识。互联网中的文本极其庞大，而模型参数远少于训练语料中的字符总量。模型不可能逐字保存所有内容，只能把大量共性压缩进权重之中。语言、知识和表达方式由此被转化为一个可以生成新文本的概率模型。

不过，这种压缩并不等同于可靠记忆。模型可能遗漏细节、混淆事实或生成看似合理但实际错误的内容。因为它保存的不是一部可逐页检索的百科全书，而是对文本分布的近似建模。语言模型越像压缩器，就越需要人们理解它的优势与局限：它擅长重建常见模式，却不天然保证每个细节都真实。

七、压缩人类知识：赫特奖的大胆实验

“压缩即智能”最具代表性的现实实验之一，是马库斯·赫特发起的人类知识压缩奖，通常称为赫特奖。该竞赛要求参赛者无损压缩维基百科文本，并把压缩程序本身的大小也计入最终结果[9]。

为什么要把解压程序一起计算？因为如果不计算程序大小，参赛者可以把维基百科内容提前藏在程序里，再输出一个极小的“压缩文件”。把程序与压缩结果共同计入，才能更接近“模型长度加数据长度”的思想。

赫特奖的基本动机是：维基百科包含大量人类知识，想把它无损压缩得更小，就必须发现其中更深层的规律。一个只识别字符重复的压缩器能够取得一定效果；一个理解词语搭配、文章结构、历史事实和世界知识的系统，理论上可以压缩得更好。

赫特奖并没有证明“压缩率就是完整的智能分数”，但它提供了一个可量化的研究方向：与其只讨论机器是否“看起来聪明”，不如检查它是否真正发现了数据中的规律。文件大小虽然冷冰冰，却比主观印象更难被花言巧语欺骗。

八、图像、音频与视频：看见世界，也是在压缩世界

压缩与智能的联系并不限于文字。图像压缩同样依赖对视觉世界的建模。一张照片中，相邻像素通常高度相关。天空往往是一片渐变的蓝色，墙壁可能具有相似纹理，物体边缘呈现连续结构。传统图像压缩算法利用这些统计规律减少数据量。现代神经图像压缩则使用神经网络学习更复杂的变换和概率模型。

Ballé 等人在 2018 年提出的变分图像压缩方法，使用超先验模型捕捉潜在表示中的空间依赖关系，并展示了端到端学习压缩模型的能力[10]。这里的关键不只是把图像变成更小的文件，而是让模型学习“什么样的图像结构通常会出现”。

有损压缩进一步引入了“什么值得保留”的问题。人类观看照片时，不会同等关注每一个像素。主体轮廓、文字、面部和重要纹理通常比微小噪声更重要。一个智能压缩系统需要在码率与失真之间权衡：在有限比特下，优先保留对人类或下游任务最有价值的信息。

这与信息瓶颈方法的思想相似。信息瓶颈强调，在压缩输入信息的同时，应尽量保留与目标任务相关的信息[11]。例如，一个用于识别猫狗的系统，不需要记住照片中每一粒灰尘的位置，但需要保留耳朵形状、毛发纹理等有助于分类的特征。因此，智能并不只是无损记录世界，还包括有选择地忽略世界。忘记并不总是缺陷；丢弃无关细节，可能正是抽象和概念形成的前提。

九、人脑是否也是一台预测压缩器

脑科学中的预测编码理论认为，大脑并不是被动接收感官输入，而是在不断生成对外界的预测，并重点处理预测误差。高层脑区根据已有经验形成预期，低层感官系统则报告实际输入与预期之间的差异[12]。

例如，当我们阅读一句熟悉的话时，大脑往往会提前猜测后续内容；当我们走进厨房时，不会重新分析每一个杯子和盘子的所有像素，而是迅速利用“厨房”这一场景模型理解环境。只有出现异常情况，例如水杯悬浮在空中，才会引起强烈注意。

预测编码与数据压缩有相似之处：系统不需要反复传递已经预测到的内容，只需重点传递误差。相关研究支持大脑中存在广泛的预测加工网络，但预测编码仍是一种持续研究中的理论框架，不能简单表述为已经被完全证实的“大脑工作定律”[12][13]。

即便如此，这一框架仍提供了有启发性的视角。感知可能不是对世界的逐像素复制，而是大脑使用内部模型对感官信号进行解释。经验越丰富，内部模型越好，面对常见场景时需要处理的新信息就越少。所谓熟练，往往就是把复杂任务压缩成少量高层模式。

十、另一种“压缩智能”：让人工智能模型更小

“压缩即智能”还有另一层更工程化的含义：不仅要用智能压缩数据，还要压缩智能模型本身。现代神经网络可能拥有数十亿甚至更多参数，部署时需要大量显存、计算能力和能源。为了让模型运行在手机、汽车、机器人和边缘设备上，研究人员发展了量化、剪枝、知识蒸馏等技术。

量化是用更少的比特表示模型参数，例如把高精度浮点数转换为较低精度整数；剪枝是移除贡献较小的连接或神经元；知识蒸馏则让较小的“学生模型”学习较大“教师模型”的输出分布[14]。这些方法的共同目标，是在尽可能保留能力的同时，减少模型的存储与计算成本。

模型压缩与知识抽象之间也存在有趣联系。如果一个大模型的能力能够被转移到更小的模型中，说明原模型内部可能存在冗余。真正重要的不是每一个参数，而是参数共同表达的结构。模型压缩因此不仅是部署工具，也可以帮助研究者理解：一个智能系统究竟需要多少信息，哪些能力可以被保留，哪些能力会在压缩过程中首先消失。

但模型压缩也有代价。过度量化、剪枝或蒸馏可能损害准确率、鲁棒性和长尾知识。更小的模型未必在所有场景下都更聪明，它只是以更低成本保留了部分能力。

十一、压缩为什么不能完全等同于智能

“压缩即智能”是一个强有力的观点，但如果把它理解为“压缩率越高，智能就一定越高”，就会产生误导。

首先，智能不仅需要预测，还需要行动。一个系统可能非常擅长预测文本，却无法在真实环境中完成简单操作。赫特关于通用人工智能的研究也强调，智能体不仅要建立世界模型，还要根据目标选择行动[15]。

其次，智能与价值有关。压缩器只关心数据能否被更短地表示，但现实中的智能体还需要判断什么值得追求、什么应当避免。医疗决策、社会治理和个人选择都不能只由压缩率决定。

再次，压缩可能利用错误或有害的规律。如果训练数据包含偏见，一个模型也可能把偏见压缩进参数。能够准确预测社会偏见，不等于应当延续这些偏见。

此外，某些能力并不容易通过静态数据压缩来衡量。创造力、道德推理、身体技能、情感理解和跨情境适应，都包含目标、互动和环境反馈。一个压缩维基百科很强的系统，未必能照顾病人、修理机器或理解一个人沉默背后的情绪。

最后，极端追求压缩还可能造成“把例外当噪声”的问题。统计上罕见的现象不一定不重要。新发现、异常病例和少数群体经验，恰恰可能因为不符合常见模式而具有特殊价值。因此，更准确的说法是：压缩是智能的重要组成部分，也是衡量学习和预测能力的有力工具，但不是智能的全部。

十二、从压缩视角重新理解知识与教育

压缩视角不仅适用于人工智能，也能帮助我们理解人类学习。死记硬背是一种低效存储。学生如果逐字记住大量题目，却不能总结公式和方法，就像把原始数据完整保存下来，却没有建立压缩模型。真正的学习，是从许多案例中提取可复用结构。

数学公式是一种压缩，概念是一种压缩，分类体系是一种压缩，故事和比喻也是一种压缩。它们把大量零散经验组织成较短、较稳定的认知结构。一个人能够用自己的语言解释知识，往往意味着他已经把外部信息重新编码为内部模型。

但教育不能只追求“越短越好”。过度压缩会损失必要细节。一个只记住结论而不理解条件的人，容易在新情境中误用知识。好的学习应当像好的模型：既抓住规律，又保留对例外和边界的敏感性。

从这个角度看，专家与新手的差别，不只是专家记得更多，而是专家拥有更好的压缩方式。新手看到的是许多互不相关的细节，专家看到的是少量有组织的模式。棋手看到棋盘上的“阵型”，医生看到症状背后的“综合征”，程序员看到代码中的“设计模式”。智能的增长，往往表现为描述世界所需的内部语言变得更简洁、更准确，也更具有预测力。

十三、结语：理解，就是找到更短而更真的描述

从香农信息论到柯尔莫哥洛夫复杂度，从最小描述长度到现代语言模型，压缩始终与预测、学习和理解紧密相连。数据之所以能够被压缩，是因为世界并非完全随机；智能之所以可能存在，是因为规律可以被发现、表示和利用。

一个好的压缩器不只是删掉重复字符，它必须建立模型。一个好的学习系统不只是记住过去，它必须预测未来。一个好的科学理论不只是罗列事实，它必须用简洁结构解释更多现象。

因此，“压缩即智能”最有价值的地方，不是把智能粗暴地缩减为文件大小，而是提醒我们：智能的核心能力之一，是从复杂中发现简单，从噪声中识别结构，从无限细节中提炼可复用的规律。

但真正成熟的智能，还需要知道哪些信息不能丢，哪些例外值得关注，哪些目标值得追求，以及怎样把预测转化为负责任的行动。压缩让系统更懂世界，而价值与行动决定这种理解将被用于何处。

压缩原理发展在极端带宽场景中催生了突破性成果。

低码率语音压缩算法通过清/浊音判决、基音周期估计和LPC分析构建声学预测模型，并融合波束形成与深度学习增强语音，在超低码率下仍保持高可懂度。

渐进式图像压缩算法则实现分包传输时的渐进显示：先传轮廓、后补细节，支持应用层重传与自适应压缩，在窄带宽下兼顾抗误码与实时性，最高可达千倍压缩比。

两者共同印证：压缩不是妥协，而是用更聪明的模型替代更庞大的原始数据。在卫星通信、应急救灾等带宽稀缺场景中，它们将理论转化为可用的智能服务。

参考文献

[1] SHANNON C E. A Mathematical Theory of Communication[J]. The Bell System Technical Journal, 1948, 27: 379-423, 623-656. https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf

[2] COVER T M, THOMAS J A. Elements of Information Theory[M]. 2nd ed. Hoboken: John Wiley & Sons, 2006. https://www.wiley.com/en-us/Elements+of+Information+Theory%2C+2nd+Edition-p-9780471241959

[3] SOLOMONOFF R J. A Formal Theory of Inductive Inference, Part I[J]. Information and Control, 1964, 7(1): 1-22. https://doi.org/10.1016/S0019-9958(64)90223-2

[4] KOLMOGOROV A N. Three Approaches to the Quantitative Definition of Information[J]. Problems of Information Transmission, 1965, 1(1): 1-7. https://mlanthology.org/misc/1968/kolmogorov1965misc-three/

[5] RISSANEN J. Modeling by Shortest Data Description[J]. Automatica, 1978, 14(5): 465-471. https://doi.org/10.1016/0005-1098(78)90005-5

[6] GRÜNWALD P D. The Minimum Description Length Principle[M]. Cambridge, MA: MIT Press, 2007. https://homepages.cwi.nl/~pdg/book/book.html

[7] DELÉTANG G, RUOSS A, DUQUENNE P A, et al. Language Modeling Is Compression[EB/OL]. arXiv:2309.10668, 2023. https://arxiv.org/abs/2309.10668

[8] VASWANI A, SHAZEER N, PARMAR N, et al. Attention Is All You Need[C]//Advances in Neural Information Processing Systems. 2017: 5998-6008. https://arxiv.org/abs/1706.03762

[9] HUTTER M. Human Knowledge Compression Prize[EB/OL]. https://prize.hutter1.net/

[10] BALLÉ J, MINNEN D, SINGH S, et al. Variational Image Compression with a Scale Hyperprior[C]//International Conference on Learning Representations. 2018. https://arxiv.org/abs/1802.01436

[11] TISHBY N, PEREIRA F C, BIALEK W. The Information Bottleneck Method[EB/OL]. arXiv:physics/0004057, 2000. https://arxiv.org/abs/physics/0004057

[12] FRISTON K. Does Predictive Coding Have a Future?[J]. Nature Neuroscience, 2018, 21: 1019-1021. https://doi.org/10.1038/s41593-018-0200-7

[13] FICCO L, MANCUSO L, MANUELLO J, et al. Disentangling Predictive Processing in the Brain: A Meta-analytic Study in Favour of a Predictive Network[J]. Scientific Reports, 2021, 11: 16258. https://doi.org/10.1038/s41598-021-95603-5

[14] HINTON G, VINYALS O, DEAN J. Distilling the Knowledge in a Neural Network[EB/OL]. arXiv:1503.02531, 2015. https://research.google/pubs/distilling-the-knowledge-in-a-neural-network/

[15] HUTTER M. Universal Artificial Intelligence: Sequential Decisions Based on Algorithmic Probability[M]. Berlin: Springer, 2005. https://www.hutter1.net/official/bib.htm

[16] 3GPP. Non-Terrestrial Networks (NTN)[EB/OL]. Updated 2025-07-04. https://www.3gpp.org/technologies/ntn-overview

[17] EUROPEAN SPACE AGENCY. What is On-board Data Processing?[EB/OL]. https://www.esa.int/Enabling_Support/Space_Engineering_Technology/Onboard_Data_Processing/What_is_On-board_Data_Processing

[18] NASA JET PROPULSION LABORATORY. Deep Space Optical Communications (DSOC)[EB/OL]. https://www.jpl.nasa.gov/missions/deep-space-optical-communications-dsoc/