ECI
✦ 生命 × 心智·D4

观察者压缩

⌒已支持的桥接v1.0

❶ 核心问题

我们是否仅仅通过感知就在压缩现实?

你正在阅读这些文字,这意味着光子正在撞击你的视网膜,触发电化学级联反应,沿着你的视神经传播,在多个视觉皮质区域中被处理,最终成为你体验为「看到一页文字」的东西。在那条链的每个阶段,信息都在流失。你的视网膜只记录电磁频谱中狭窄的一个波段。你的视神经大约携带一百万条纤维——远少于馈入它的一亿个光受体。你的视觉皮质丢弃了视网膜发送的大部分内容,保留边缘、运动和统计规律性,同时舍弃像素层级的细节。而你的意识经验进一步压缩:你感知到的是文字和意义,而非一片个别字母形状的场域,更不用说一片个别光子吸收事件的场域。

这不是缺陷。这就是感知运作的方式——在人类中、在每一种已知的生物体中、在每一个曾被建造的测量装置中。本页检视的问题很简单,而且在其前半部分,在科学上有坚实的基础:每一次观察行为是否必然压缩了它所接收的信息? 生物观察者和测量装置是带宽受限且具选择性的;将这些转换建模为有损压缩(Lossy Compression)是一个有用且数学上可处理的框架(桥接)。然而,「观察者压缩」作为一个本体论主张——认为现实确实在被压缩,而非仅仅被过滤——是一个提议的 ECI 抽象,而非已确立的普遍定理。

但 ECI 从这个事实中得出了第二个更大胆的推论:因为我们总是观察到现实的压缩版本,所以可能存在更丰富的信息结构——在 ECI 术语中称为额外的通道(Channel)——是我们的压缩所排除的。这第二个主张是一个推测性的跳跃,与第一个之间有巨大的推论距离。本页极为谨慎地将两者分开。

页面状态:压缩主张(第 ❶-❸ 节)建立在坚实的科学基础上——「supported-bridge」反映了来自多个领域之已确立结果的汇聚。「bridge」限定语表示这些证据并非源自 ECI 内部,而是被引入并在其框架中被重新诠释。可测试性为「direct」,因为观察者压缩本身可以通过心理物理学、神经记录和传感器数据的信息理论分析来直接测量。

❷ 具体案例

我们已经错过了大部分

在诉诸任何理论框架之前,考虑一下你根本无法感知的物理世界有多少。

电磁辐射。 人眼对大约 380 到 700 纳米之间的波长有反应——这是电磁频谱的一小片,整个频谱从无线电波(波长为数米到数公里)跨越微波、红外线、可见光、紫外线、X 射线到伽马射线(波长低于一万亿分之一米)。可见带宽与已知完整电磁频谱的比率横跨至少 15 个数量级。此刻穿过你身体的电磁信息中,你探测到的不到一万亿分之一。

声音。 人类听觉大致涵盖 20 Hz 到 20,000 Hz。蝙蝠以高达 200,000 Hz 的频率进行回声定位。大象以低于 20 Hz 的次声波通讯,这些声波可以传播数百公里。鲸鱼产生跨越两个极端的声音。物理世界充满了人耳从未被建构来记录的声学信息。

其他完全不同的感觉模态。 鲨鱼通过其 Lorenzini 壶腹探测低至每厘米 5 纳伏特的电场。候鸟似乎能感知地球磁场,可能通过其视网膜中隐花色素(Cryptochrome)介导的自由基对(Radical Pair)机制。响尾蛇通过膜覆盖的颊窝(Pit Organ)成像温血猎物的红外热特征。螳螂虾以人眼无法做到的方式看到偏振光。没有人类能在没有仪器的情况下探测微中子(Neutrino)、引力波或暗物质——尽管每秒大约有 650 亿个微中子穿过你皮肤的每平方厘米。

这些不是奇异的边缘案例。它们是常态。每一种生物体的感觉系统都是一个选择性过滤器,接纳物理现实中特定于该物种的一小片,并丢弃其余部分。这不是一个等待被克服的限制——它是一个由数亿年演化筛选所塑造的根本设计原则(参见演化筛选(C3))。生物体演化来探测对生存和繁殖有意义的东西,而非实现全面覆盖。

仪器延伸了但没有消除问题

科学仪器大幅扩展了我们可以探测的可观测量范围。射电望远镜、电子显微镜、粒子加速器、引力波探测器——每一个都打开了一扇通向人类裸感所不可见之现实面向的窗口。但仪器并不解决压缩问题。它们只是重新定位了它。

每一种仪器都有有限的带宽(它能记录的信号范围)、有限的分辨率(它能区分的最小差异)、有限的动态范围(它能处理的最强和最弱信号之比)和有限的采样率(它记录的频率)。一台调到 1420 MHz 的射电望远镜无法同时观测 5 GHz 的信号。LIGO 可以在特定频率波段以非凡的灵敏度探测引力波,但它对非常低或非常高频率的引力波是盲的。James Webb 太空望远镜以前所未有的清晰度成像红外宇宙,但每次曝光只捕捉有限天区在有限时间窗口内的光。

仪器选择哪些可观测量被记录以及以什么保真度。它产生的数据已经是物理情境的压缩表征——从高维物理状态空间到较低维度已记录数据集的映射。实验物理学家花费职业生涯来优化这个映射,但他们无法消除它。

神经处理进一步压缩

对于生物观察者,压缩并不止于感觉周边。大脑施加了一层又一层的额外压缩。

注意力选择感觉输入的一个子集进行详细处理,将其余部分降格为周边或无意识监控。你现在并没有有意识地处理椅子对你背部的压力(直到这句话将你的注意力引向了它)。你的机械感受器一直在记录那个信息——但你的神经处理一直在将它压缩掉。

预测用偏差信号取代预期的输入。大脑的预测编码架构(Rao & Ballard, 1999; Friston, 2005)不是忠实地将每一个感觉数据沿处理层级向上传递。它传递的是预期与接收之间的差异——预测误差(Prediction Error)。当世界符合预期时,很少的信息会向中央传播。这是一种高效的编码策略,也是一种大规模压缩。

分类将连续的感觉空间映射到离散的分箱中。颜色知觉提供了一个熟悉的例子:电磁频谱连续变化,但人类的颜色经验被组织成具有明确边界的离散类别(红、橙、黄、绿……)。跨语言研究表明,虽然颜色类别在不同文化中有所不同,但从连续波长到离散标签的压缩是普遍的(Berlin & Kay, 1969;尽管具体边界受文化和语言影响)。

记忆进一步压缩。情节记忆(Episodic Memory)不是录影。它们是从片段——要旨、情绪效价、几个鲜明的细节——在回忆时重建的(Bartlett, 1932; Schacter, 2001)。从经验到记忆的信息损失是巨大的。

语言和认知可能施加了最戏剧性的压缩。我们将现实的连续流动解析为离散的物体,将它们分配到类别中,嵌入因果叙事,并沿着序列时间线排列事件。用语言描述的世界——「猫坐在垫子上」——是对底层物理状态的一个惊人压缩的表征,该物理状态涉及大约 10^27 个原子通过电磁力和引力在空间和时间尺度的连续体中交互作用。

❸ 已确立的科学

观察涉及压缩的科学论据取材自信息理论、感觉生态学、知觉心理学和计算神经科学的汇聚证据。这些领域中没有一个是为了支持 ECI 而发展的。它们在压缩结论上的汇聚,正是使本页成为框架中科学基础最坚实之一的原因。

数据处理不等式

对于观察者压缩而言最重要的形式结果是数据处理不等式(Data Processing Inequality, DPI),一个由 Shannon 证明并由后续研究者扩展的信息理论定理。

陈述(正确形式)。 如果随机变量 X、Y 和 Z 形成一个 Markov 链——写作 X -> Y -> Z,意味着 Z 只通过 Y 依赖于 X——那么:

I(X; Z) <= I(X; Y)

其中 I(A; B) 表示 A 和 B 之间的互信息(Mutual Information)。

用白话说:对一个信号的任何下游处理都不能增加该信号所携带的关于其源头的信息。 如果你只通过一个中间表征 Y 来观察 X,那么你随后从 Y 计算出的任何东西(称为 Z)都不能告诉你比 Y 已经告诉你的更多关于 X 的信息。在每一个处理阶段,关于源头的信息只能被保留或损失,永远不能被创造。

DPI 直接适用于观察链。令 X 为世界的物理状态。令 Y 为感觉表征(传感器或感觉器官的输出)。令 Z 为皮质处理后的神经表征。那么 I(X; Z) <= I(X; Y) <= H(X),其中 H(X) 是源头的 Shannon 熵(Shannon Entropy)。每一个处理阶段只能维持或降低与原始物理状态的互信息。

DPI 没有说什么。 DPI 不是说下游处理是无用的——它说的是下游处理不能增加关于源头的信息。下游处理可以重新组织、过滤和重新格式化信息,使得相关特征更容易被用于决策。一个训练良好的神经网络可能从信号中提取比原始数据倾倒更多有用的特征,即使它拥有关于源头的更少总信息。DPI 约束的是总信息含量,而非实用效用。

观察者偏差与知觉过滤:Levin(1992)

Levin(1992)对理解观察者如何在其感知上施加结构做出了重要贡献。在生态模式分析的背景下,Levin 强调科学家在生态数据中探测到的模式,关键地取决于观察尺度——测量所取的空间和时间分辨率。改变尺度,不同的模式就会出现或消失。一个在卫星影像尺度上看起来均匀的森林树冠,在个别树冠的尺度上揭示出分形斑块性,而在个别叶片的尺度上则是随机混沌。

Levin 的关键洞见是,观察者对尺度的选择不是一个中性行为——它是一个过滤器,决定了哪些模式可见、哪些不可见。这不是观察的失败;它是一个不可避免的后果,因为每一次观察都必须在某个尺度下进行,而没有单一尺度能揭示复杂系统中存在的所有结构。这些模式是真实的,但它们是尺度相依的,而观察者的知觉设备(或选择的仪器)决定了尺度。

这个结果可以推广到生态学之外。在任何具有多尺度结构的系统中——湍流、分形几何、从分子到生态系的生物层级——观察者的分辨率决定了看到什么。一台显微镜和一台望远镜指向同一个物理系统,将报告截然不同的描述,两者都准确,但都不完整。

感觉生态学:物种专一的知觉世界

感觉生态学(Sensory Ecology)领域(Dusenbery, 1992; Endler, 1992; Stevens, 2013)记录了不同物种如何感知其共享物理环境中截然不同的子集。Jakob von Uexkull 的环境世界(Umwelt)概念——每种生物体独特的主观知觉世界——精确地捕捉了这个想法:每种生物体栖居在一个由其感觉能力定义的环境中,而这个环境是完整物理世界的压缩、过滤版本。

比较研究证明了这一点:

  • 蜜蜂看到花朵上人类不可见的紫外线图案,但无法看到人类轻易感知的红色波长。「同一朵」花向蜜蜂和人类呈现完全不同的视觉信息。
  • 回声定位蝙蝠从超音波回声中建构空间表征,通过一个人类完全缺乏的感觉模态感知三维结构。
  • 电鱼(弱电鲑形目和裸背电鳗目)感知自身产生的电场中的扭曲,通过一个没有人类类比物的感觉通道感知附近物体的电学属性——电导率、电容。
  • 响尾蛇将热红外影像叠加在视觉场景上,创造一个结合了两个人类必须分别存取(如果能存取的话)之信息源的多模态空间表征。

每种生物体的感觉系统都实现了从物理现实到知觉表征的不同投影。这些投影部分重叠——大多数有视觉的动物共享可见光谱的某个部分——但没有一个涵盖物理可观测量的完整空间。

神经编码作为压缩

计算神经科学提供了详细的、定量的证据,表明神经系统在每一个处理阶段都实现信息压缩。

视网膜压缩。 人类视网膜包含大约 1.2 亿个杆状细胞和 600 万个锥状细胞,但视神经只携带大约 100 万条纤维。这个大约 100:1 的压缩比通过侧抑制(Lateral Inhibition)、中心-周围感受野(Center-Surround Receptive Fields)和时间编码策略实现,这些策略保留边缘、对比度和运动,同时丢弃空间均匀的信息(Barlow, 1961; Atick & Redlich, 1992)。

高效编码假说。 Barlow(1961)提出感觉神经元高效地编码信息——神经编码适应了自然刺激的统计结构。这个假说在随后的几十年中被确认和扩展(Laughlin, 1981; Atick, 1992; Simoncelli & Olshausen, 2001),它暗示神经编码是一种有损压缩的形式:它保留统计上典型的或在生态上重要的信息,同时丢弃冗余或无关的信息。

预测编码。 预测编码框架(Rao & Ballard, 1999; Friston, 2005, 2010)将大脑建模为一部层级式预测机器。每一个皮质层级生成关于下一层级活动的预测;只有预测误差——预期和实际输入之间的差异——被向上传播。这个架构在形式上等同于一种层级压缩方案,它解释了神经处理的许多特征,从适应和重复抑制到皮质中反馈(自上而下)连接的大量优势。

已确立证据的总结

汇聚是惊人的。信息理论(DPI)证明处理不能增加关于源头的信息。感觉生态学记录了每种生物体的知觉系统都是一个物种专一的过滤器。知觉心理学展示了注意力、分类和记忆如何进一步压缩经验。计算神经科学表明神经编码在每一个阶段都实现高效的有损压缩。Levin 的分析表明观察者的观察尺度决定了哪些模式是可见的。

这些是来自不同科学学科的独立证据线,它们都指向同一个结论:观察就是压缩。 任何有限的观察者——生物的或人工的——都必然将高维的物理状态映射到一个较低维度的内部表征。被经验到的世界是物理世界的压缩版本。

❹ ECI 框架诠释

压缩映射:Y = Pi_O(X)

ECI 以一个简单的记号将观察即压缩的想法形式化。令 X 表示被观察系统的完整物理状态(或者更仔细地说,在给定物理理论层次上可用的最完整描述)。令 O 表示观察者——一个具有特定感觉、仪器和认知属性的系统。令 Y 表示观察者的输出:通过 O 观察 X 所产生的表征。

ECI 写作:

Y = Pi_O(X)

其中 Pi_O 是一个映射——一个由观察者属性决定的函数——它接受完整状态 X 并产生被观察的表征 Y。下标 O 强调不同的观察者实现不同的映射:Pi_human 不同于 Pi_bat 不同于 Pi_LIGO。

这个记号捕捉了几个重要特征:

  • Y 取决于 X 和 O 两者。 两个检视同一物理状态的观察者可能产生不同的表征。这已被感觉生态学所确立(第 ❸ 节)。
  • Pi_O 通常是不可逆的。 因为信息在映射中损失了,你通常不能仅从 Y 恢复 X。这是数据处理不等式应用于观察过程。
  • Pi_O 是一个多对一函数——多个不同的物理状态可能映射到同一个被观察的表征。这就是「压缩」的意思:输出空间的可区分状态比输入空间少。

维度警告

一个自然的问题是 dim(Y) <= dim(X) 是否总是成立——观察者表征的有效维度是否总是低于或等于物理状态的维度。这不是一个普遍定理。 它在许多特定的投影和粗粒化模型中是成立的,但在一般情况下不是保证的。

精确的主张为:在许多投影和粗粒化模型中,被保留表征的有效维度低于源描述的有效维度。 这对以下情况成立:

  • 线性投影(投影算符的像的秩至多等于原始空间)。
  • 粗粒化映射(状态空间划分为等价类必然比原始状态少,对于任何非平凡的划分)。
  • 有损压缩算法(压缩表征使用的比特数少于原始的)。
  • 神经编码(视网膜的 100:1 压缩比是一个字面上的维度降低)。

但存在一些信息处理操作——嵌入(Embedding)、特征扩展(Feature Expansion)、核方法(Kernel Methods)——其中输出的维度高于输入,同时仍然损失了关于源头的信息(因为 DPI 仍然适用:互信息不能增加)。重点是信息损失,而非维度降低,才是根本的约束。 DPI 保证了信息损失;维度降低是该损失的常见但非普遍的机制。

非常不同强度的两个主张

这里是本页必须最为谨慎的地方,因为 ECI 框架得出了一个需要巨大跳跃的推论。

主张 1 —— 观察者压缩是真实的。 每一个观察者——生物的、仪器的、计算的——都将物理世界映射到一个包含比源头更少信息的表征中。被经验的现实不是完整的物理状态;它是一个压缩的、过滤的、观察者相依的投影。状态:supported-bridge。 这个主张受到来自多个已确立领域之汇聚证据的支持(第 ❸ 节)。它没有争议。

主张 2 —— 因为我们总是在压缩,所以存在更丰富的信息结构(其他通道),是我们的压缩所排除的。 这是 ECI 的延伸。它从「我们遗漏了信息」(已确立)移动到「遗漏的信息可能被组织成连贯的替代结构——具有自身维度架构的额外通道」(推测性的)。

这两个主张之间的推论距离是巨大的。 主张 1 由已确立的科学推导而来。主张 2 需要多个额外假设:

  • 「遗漏的信息」具有连贯的结构(而非噪声、热涨落或物理上不可存取的量子态)。
  • 这个结构被组织成离散的类通道领域(而非形成一个连续的、未分化的、我们所观察到的之互补)。
  • 这些替代结构原则上可以被不同的观察者或不同的观察模式所存取。

这些额外假设中没有任何一个受到第 ❸ 节所呈现证据的支持。DPI 告诉我们处理会损失关于源头的信息;它没有说损失的信息是否形成连贯的替代世界。感觉生态学告诉我们不同的生物体探测物理现实的不同切片;它没有告诉我们未被探测的切片在任何有意义的意义上构成「通道」。

ECI 对这个落差是诚实的。 从压缩到通道的推论是框架最大的推测性跳跃之一,而框架的可信度取决于不将获得良好支持的第一个主张与推测性的第二个主张混为一谈。读者应独立评估它们。

❺ 如果这是真的……

如果观察者压缩如证据所示般普遍——而这第一个「如果」是有良好支持的——那么什么会跟着发生?

我们总是在使用一幅不完整的图像。 这不是一个戏剧性的揭示;科学家已经知道这件事好几个世纪了。但压缩框架给了这个要点一个形式上的锋利边缘。DPI 提供了在每一个阶段损失多少信息的定量界限。观察者映射 Pi_O 指定了压缩在哪里发生以及它取决于什么。这使得有可能提出关于被观察现象和底层物理状态之间关系的精确问题——在没有形式框架的情况下,这些问题是含糊的。

不同的观察者字面上栖居在不同的经验世界中。 一只蝙蝠对黑暗洞穴的表征和一个人对同一洞穴的表征,不仅仅是对同一经验的「不同视角」——它们是结构上不同的表征,从不同的感觉数据通过不同的压缩方案得出,保留不同的特征并丢弃不同的信息。感觉生态学中的环境世界概念是这个要点的非形式版本;Y = Pi_O(X) 是形式版本。

我们施加的压缩对我们自己是不可见的。 我们并不体验我们的经验为被压缩的。视觉世界看起来是无缝和完整的,即使它是从部分数据中重建的。知觉填入(Perceptual Filling-in)、变化盲视(Change Blindness)和注意力盲视(Inattentional Blindness)(Simons & Chabris, 1999)展示了完整知觉的主观感受是由大脑的重建机制所维持的一种幻觉。这意味着我们无法仅通过内省来确定我们遗漏了什么。

现在考虑推测性的延伸。 如果观察者压缩是普遍的,而且我们丢弃的信息具有任何连贯的结构,那么我们对世界的整个科学图像都是从一个潜在更丰富空间的特定投影中得出的。其他投影——其他 Pi_O 函数,由具有不同感觉和认知架构的不同种类观察者所应用——可能揭示从我们的有利位置看不可见的现实特征。

但那句话中的「可能」承载了巨大的重量。从「我们压缩」到「因此存在包含被压缩掉之信息的更高维度通道」的跳跃,正是那种以叙事形式听起来引人入胜但缺乏作为科学主张所需之证据支持的推论。ECI 将其呈现为有待研究的假设,而非有待接受的结论。

❻ 如何测试?

观察者压缩本身是可直接测试的——而且已被广泛测试。更具推测性的主张需要不同的策略。

测试压缩主张(已确立的方法)

量化感觉边界的信息损失。 测量物理刺激 X 与感觉表征 Y 之间在神经处理连续阶段的互信息 I(X; Y)。这已经对视网膜神经节细胞(Rieke et al., 1997)、听觉神经纤维(Smith & Lewicki, 2006)和体感皮质(Panzeri et al., 2001)完成。在每一个案例中,DPI 都被确认:互信息在每一个处理阶段减少。

跨物种比较压缩。 不同的生物体从同一环境中提取不同的信息。通过向不同物种呈现相同的物理刺激并测量神经反应,可以直接比较不同观察者的投影函数 Pi_O。这是比较感觉神经科学的标准做法。

在工程系统中测试 DPI 预测。 建构具有已知压缩特性的人工感觉处理管道。验证下游处理阶段满足 I(X; Z) <= I(X; Y)。这已在机器学习和信号处理的背景下完成,确认了 DPI 作为工程约束和理论结果。

测量压缩的成本。 来自演化筛选(C3)的资源预算模型预测压缩不是免费的——它需要在神经组织上的代谢投资。具有更精细感觉压缩(更多皮质处理阶段、更复杂的感受野)的物种应该显示更高的神经代谢成本。这可以通过比较神经解剖学和代谢成像来测试。

测试推测性延伸(开放问题)

推测性主张——被压缩掉的信息可能形成连贯的替代结构——更难测试,因为它更不明确。

需要什么。 为了将通道假设从推测推进到科学,ECI 需要:

  1. 在操作上定义「被压缩掉之信息中的连贯结构」意味着什么。
  2. 指定至少一个可观察的后果,以区分「遗漏的信息具有类通道结构」和「遗漏的信息是噪声」。
  3. 提出一个能区分这两种可能性的实验或观察。

什么会削弱压缩主张。 如果发现任何处理阶段增加了与物理源的互信息——违反了 DPI——它将表明该处理阶段可以存取 X -> Y -> Z 模型中未被考虑的信息源。这将是革命性的。它从未被观察到。

什么会削弱推测性延伸。 如果对「遗漏的信息」(观察者探测之互补)的系统性分析揭示没有连贯的结构——只有热噪声、量子真空涨落和物理上不可存取的状态——那么压缩隐藏了连贯替代通道的假设就会失去其动机。

什么会推翻推测性延伸。 一个形式证明表明任何有限观察者的压缩互补必然是无结构的——在任何观察过程所丢弃的信息中不存在有意义的组织——将消除隐藏通道的可能性。目前不存在这样的证明,但也不存在隐藏结构的证据。诚实的当前状态是:开放问题。

❼ 连结到其他节点

-> 观察者与经验(D3):D3 检视观察行为如何与物理结果相关,特别是在量子力学中。D4 提供了 D3 的观察者使用的压缩框架:D3 中的每一个观察者都在实现某个投影 Pi_O,而该投影的属性决定了观察者能探测到什么。连结是紧密的:D3 追问观察者的属性是否在物理上有影响;D4 描述了那些属性是什么(感觉带宽、分辨率、神经压缩)并将它们形式化。关键差异:D3 冒险进入观察者复杂度是否影响量子测量结果的推测性领域;D4 的核心主张(观察就是压缩)则站在更坚实的基础上。

-> 跨通道存取(E1):E1 探索一个通道中编码的信息是否可以通过另一个通道存取。D4 提供了形式基础:如果每个观察者的知觉是一个通道专一的投影 Pi_O,那么跨通道存取将需要一种不同类型的映射——一种存取观察者正常投影之外的信息的映射。D4 确立了为什么跨通道存取会是不寻常的(因为 Pi_O 是一种有损压缩,丢弃了来自其他通道的信息);E1 追问是否可能存在例外。注意这个连结依赖第 ❹ 节中推测性的主张 2。如果被压缩掉的信息不形成连贯的通道,这个连结就消解了。

-> 时间与预知(E2):E2 检视时间经验——我们对过去、现在和未来作为根本不同的感知——是否可能是观察者压缩的产物。如果观察者的投影 Pi_O 以特定方式压缩时间信息(例如,将本质上平行的过程序列化为一个顺序叙事),那么看似基本的时间经验特征实际上可能是压缩的产物。这是推测性的,但它说明了压缩框架如何原则上可以重新框架关于时间本质的问题。

❽ 数学细节

观察者投影(提议的记号)

ECI 将观察者投影定义为:

Y = Pi_O(X)

其中:

  • X 是物理状态(或在给定物理理论层次上可用的最完整描述)。
  • O 是观察者,由其感觉、仪器和认知属性特征化。
  • Pi_O 是观察者的投影映射——一个从 X 的状态空间到 Y 的表征空间的函数。
  • Y 是观察者的输出表征。

状态:记号是 ECI 的定义。底层主张——观察是一个损失信息的映射——由 DPI 和来自神经科学及感觉生态学的经验证据所确立。

Pi_O 的属性:

  • 通常不可逆(信息损失;X 不能仅从 Y 恢复)。
  • 通常多对一(多个不同的状态 X_1、X_2 可能映射到同一个 Y)。
  • 观察者相依(不同的观察者实现不同的投影:Pi_human 不等于 Pi_bat 不等于 Pi_LIGO)。
  • 在所有形式化中不一定是维度降低的(见下方警告),但在 DPI 所界定的意义上始终是信息降低的。

维度警告:在许多投影和粗粒化模型中,被保留表征的有效维度低于源描述的有效维度。这对线性投影(rank(Pi) <= dim(X))、粗粒化(等价类的数量少于原始状态的数量)和视网膜的 100:1 纤维对光受体压缩成立。然而,dim(Y) <= dim(X) 不是一个普遍定理。一些信息处理操作(特征扩展、核嵌入)增加维度,同时仍然损失关于源头的信息。根本的约束是 DPI(信息损失),而非维度降低本身。

数据处理不等式(已确立)

定理。 如果 X -> Y -> Z 形成一个 Markov 链(即 Z 在给定 Y 的条件下与 X 条件独立),那么:

I(X; Z) <= I(X; Y)

其中 I(A; B) = H(A) + H(B) - H(A, B) 是 A 和 B 之间的互信息。

证明概要。 Markov 链条件意味着联合分布因式分解为 p(x, y, z) = p(x) p(y|x) p(z|y)。通过互信息的链式规则和条件独立性,I(X; Y, Z) = I(X; Y) + I(X; Z|Y) = I(X; Z) + I(X; Y|Z)。由于 Markov 属性使得 I(X; Z|Y) = 0,且 I(X; Y|Z) >= 0,我们得到 I(X; Z) <= I(X; Y)。

状态:已确立。这是信息理论中的标准定理(Cover & Thomas, 2006, Ch. 2)。

对观察者压缩的应用。 令 X = 物理状态,Y = 感觉表征,Z = 后处理神经表征。知觉的因果链(物理状态 -> 感觉转导 -> 神经处理)满足 Markov 条件,所以 I(X; Z) <= I(X; Y)。再多的神经计算也无法恢复在感觉阶段损失的关于 X 的信息。

重要澄清。 更简单的不等式 I(X; Y) <= H(X)(互信息不能超过源熵)也是成立的,但它不是 DPI。它由互信息的基本属性推导而来,不需要 Markov 链。DPI 是更强的结果:它约束跨越连续处理阶段的信息损失,而不仅仅是源与表征之间的。

Levin 的尺度相依观察(已确立)

Levin(1992)将观察尺度与被探测模式之间的关系形式化。在生态背景下,令 S(r, t) 为表示生态系在分辨率 r 和时间尺度 t 下之状态的空间或时空场。被观察的模式 P 取决于观察窗口:

P = P(S, r, t)

不同的 (r, t) 选择在同一底层场 S 中揭示不同的模式。没有单一的 (r, t) 能揭示所有结构。观察者的知觉或仪器分辨率决定了观察窗口,因此决定了哪些模式是可探测的。

状态:在生态学中已确立,且适用于任何多尺度系统。

与观察者压缩的相关性。 Levin 的结果是一般压缩原理的特定领域实例:观察者的属性(这里是空间和时间分辨率)决定了映射 Pi_O,因此决定了现实的什么特征出现在表征 Y 中。

主要引用文献

| Reference | Result | Relevance to D4 | |---|---|---| | Cover & Thomas (2006) | 数据处理不等式:Markov 链 X->Y->Z 中 I(X;Z) <= I(X;Y) | 确立处理不能增加关于源头之信息的核心定理 | | Levin (1992) | 生态学中尺度相依的模式探测;观察尺度作为知觉过滤器 | 展示观察尺度决定被探测结构的关键结果;观察者施加过滤 | | Barlow (1961) | 高效编码假说:神经编码适应刺激统计 | 理解神经编码作为有损压缩的基础 | | Rao & Ballard (1999); Friston (2005, 2010) | 预测编码:大脑作为层级式预测引擎 | 作为压缩方案的神经架构;只有预测误差传播 | | Atick & Redlich (1992) | 视网膜处理的信息理论分析 | 视网膜阶段压缩的定量证据 | | Simoncelli & Olshausen (2001) | 自然影像统计与神经编码 | 神经表征利用统计规律性进行高效压缩 | | Dusenbery (1992); Endler (1992); Stevens (2013) | 感觉生态学:物种专一的知觉过滤 | 不同生物体以不同方式压缩的经验证据 | | Berlin & Kay (1969) | 跨语言颜色类别:连续频谱被压缩为离散标签 | 连续物理变量的知觉和语言压缩 | | Bartlett (1932); Schacter (2001) | 记忆作为重建,而非记录 | 记忆作为带有信息损失的极端压缩 | | Simons & Chabris (1999) | 注意力盲视:无法探测注意力之外的显著事件 | 展示完整知觉的主观感受是幻觉性的 | | Hoffman (2009); Hoffman et al. (2015) | 知觉的界面理论:适应度而非真实驱动知觉演化 | 为什么压缩是适应性的而非缺陷的演化论证 | | Rieke et al. (1997) | 感觉神经元中的信息传递 | 跨神经处理阶段之信息损失的定量测量 |

→

连结到其他节点

讨论

v1.0

以下留言对应本页的 v1.0 版本。当内容更新时,会建立新的讨论串,确保留言始终对应您所看到的版本。

观察者压缩 | 协调存在论