近日，有个大新闻：执掌过 14 年的蒂姆・库克宣布将于 9 月厚爱卸任 CEO 职位，将英勇棒叮咛给现任硬件工程总裁约翰・特努斯。回来库克期间恩施公路钢绞线，东谈主们津津乐谈于他致的供应链处罚艺术以及带苹果市值路飙升至 4 万亿好意思元的旅程。
但是，在这个由生成式 AI 主的全新十年里，特努斯接办的将是个亟需在 AI 域讲解我方的苹果。
苹果连年来在 AI 底层期间层面的参加正在束缚加码。恰在此时，苹果 AI 相干团队提交了篇具探还价值的论文《你的 logits 知谈些什么？（谜底可能会让你诧异！）
论文标题：What do your logits know? (The answer may surprise you!)论文地址：https://arxiv.org/abs/2604.09885
这项相干波及了大模子运作的底层逻辑，也平直关乎苹果为垂青的中枢价值：用户躲闪与数据安全
接下来，咱们就基于这篇论文，望望大模子在回应简易问题时，究竟在底层「悄悄」记着了若干你的玄妙。
步伐略这篇论文，咱们先需要了解个重要见地：信息瓶颈原则 (Information Bottleneck Principle)
个比，假定你是大型跨国公司的 CEO，你需要决定是否收购初创企业。你的下层调研团队会蚁集海量的信息，包括该公司的财务报表、职工的午餐喜好、办公室的装修作风等。
但是，当这份发挥层层递交，终放到你的办公桌上时，它应该被大幅压缩，只保留那些对「收购」有蓄意至关弥留的财务和期间目标。保留过剩的信息不仅会阻难你的判断，还可能致有蓄意空幻。
对于视觉-言语-模子 (VLM) 亦然同理。
举个例子，你有张信息量很大的相片，并将其上传给模子，并征询「图片里有只灰的猫吗？请用个词回应」。左证信息瓶颈原则，个理思的模子在终输出「Yes」或「No」时，应该早就把配景里的沙发颜、窗外的天气等关信息一王人过滤掉了。
但苹果这篇论文建议个疑问：模子果真作念到了淡忘吗？
为了找出谜底，相干东谈主员截取了模子处理信息的不同阶段进行测试。具体来说，他们主要锻练了以下两个代表的层：
残差流 (Residual Stream)：这极端于公司底层蚁集数据的浩瀚数据库。它包含了模子在处理历程中的扫数褪色情状。终的 Logits：Logits 是模子在输出后个词之前，针对辞书里每个词汇出的原始概率得分。取排行前哨的候选词得分，便是 top-k logits。这就好比呈递给 CEO 的终选项清单。
相干东谈主员引入了个名为「探针」(Probes)的轻量神经蚁集器用。探针的作用，便是门盯着模子特定层的数据，试图从中强行测出图片的原始属。
实验使用了两个主要数据集。个是由东谈主造几何图形构成的 CLEVR 数据集，里面包含多样大小、颜和材质的立体或球体。另个是包含复杂的确生涯场景的 MSCOCO 数据集。
相干东谈主员对图片进行了多样阻难，比如加入斯噪声、玻璃缺乏或畅通缺乏。
随后，他们向模子发问。在获取模子的里面数据后，他们教师探针，望望能不可从残差流或终的 logits 中，反向断出图片加入的噪声别、标的物体的颜，致使是莫得被发问到的配景物体的特征。
在阻难测试中恩施公路钢绞线，相干东谈主员还发现了个意旨道理意旨道理的闲暇。当施加严重的斯噪声时，Qwen3-VL 模子的准确率受到了大的影响，倾向于将谜底由「Yes」翻转为「No」，而 LLAMA 模子在靠近斯噪声时则展现出了相对强的褂讪。这些不同的证据响应了各模子在索求有蓄意相关信息时的里面互异。
通过测试，苹果团队得出了系列揭示模子底层机制的论断，齐备展现了信息在模子里面的留存情状。
发现：残差流是全知万能的 Oracle
在处理视觉输入时，残差流简直不识时变地保留了图片的切细节。
相干标明，论是与终有蓄意平直相关的图像噪声类型，如故标的物体的神情和颜，亦或是关的配景物体数目与属，探针都能从证据好的褪色层情状中以接近的准确率索求出来。在这层，模子就像个过目不忘的偷窥者，尚未履行任何有的信息压缩。
发现二：残差流的低维投影相通「藏不住玄妙」
为了不雅察信息怎样向终输出过渡，相干东谈主员使用了 Tuned Lens 期间来索求残差流向 Logit 空间映射的演变轨迹。
测试标明，即使只是不雅察排行前 2 的预料轨迹 (trajectory-2) ，探针不仅能索求出无数标的和有蓄意相关的中枢信息，依然会任意读取出诸多配景物体的特征。这印证了此前业内对于言语模子褪色情状易遭玄妙索求的相干，讲解这些层轨迹并莫得盲从理思的信息瓶颈原则进行有的过滤。
发现三：终层 Logits 可靠地编码了有蓄意与标的信息
在模子行将生成回应的后层，钢绞线信息压缩如实发生了，但远不够。
仅不雅察排行前 2 的终 Logits （即对应「Yes」和「No」的得分），探针就能以的准确率预料出影响模子有蓄意的图像噪声别和类型。
而当不雅察的候选词汇数目增多到包含扫数大小写的 yes/no 变体（ k 约等于 10 至 13 ）时，标的物体的千般属信息就运滚动得明晰可解码，并在索求数目等同于模子层数（ 1L ，约 30 至 40 个候选词）时达到预料的准确率。
发现四：终 Logits 悄悄记着了教唆词「未说起」的标的属
这是激发严重安全担忧的中枢发现。
假定咱们向模子发问「图片里有个蓝的圆柱体吗？」，固然教唆词明确给出了颜和神情，但莫得说起该物体的材质和大小。但是，探针依然能从模子终输出的前 0.5L 数目的候选项中，其可靠地预料出这个圆柱体究竟是橡胶如故金属材质的，以及它的具体尺寸。
这意味着模子为高出出终论断，不仅调用了相关特征，还将冗余的标的特征手脚伴生数据并带到了易表示的上层。
发现五：终 Logits 致使充任了环境的「摄像机」
除了紧盯标的物体，终层的 Logits 还在阴郁记载着周围的环境。
固然排行前 2 的 Logits 简直不包含配景信息，但只消不雅察的候选词数目略略增多，这些看似只消单个单词的上层输出漫衍，就能显贵且于立时水深谷预料出场景中非标的物体（如配景中的其他几何体）的数目、颜等属。只需获取适量的输出漫衍数据，不相关的配景躲闪便处遁形。
发现六：泄密往往只需要前 60 个傍边的 Logits （呈 U 型弧线）
相干团队不雅察到了个意旨道理意旨道理的预料智商 U 型弧线。
仅看排行前 2 的候选词时，模子简直只表示噪声信息；增多不雅察数目后，探针的预料准确率会飞速攀升，并在截取 30 至 80 个 Logits （视具体模子度 1L 或 2L 而定）时达到顶峰。要是链接扩大 Logits 集到 4L 或 5L 以上，预料智商反而会因为维噪声阻难而跌落回立时水平。
这标明，坏心索求者根柢不需要获取浩瀚的齐备输出词表，极少的头部候选词汇便是泄密的重灾地。
发现七：在同等维度下，终 Logits 的风险与层破解异
昔日的黑客或相干者思索求大模子底层的机要学问，往往需要给与白盒妙技获取模子里面的参数轨迹，门槛。
但这项相干揭示了个嚚猾的现实：要是保捏疏导的不雅察维度，索求模子上层且常常通过 API 对外通达的终层 top-k Logits （庸俗只需要截取 2L 数目），其清晰关信息的智商与需要权限的层日记轨迹简直极端。这破了业内对于灰盒 API 看望具有安全樊篱的传统幻思。
在八成融会了实验历程之后，咱们不禁要问，这到底意味着什么？
苹果团队明锐地指出了这闲暇背后的巨大安全隐患。
在践诺的买卖利用中，很多 API 接口或作事提供商为了闪斥地者调治参数，会公开模子终的 top-k 对数概率，这便是所谓的灰盒场景。
这意味着，当用户上传张包含躲闪信息的相片，只是是让模子履行个关痛痒的视觉问答任务时，模子看似只输出了个「Yes」或者段简约的翰墨，但其背后附带的那几十个概率词汇的得分漫衍，也曾悄悄把你相片里的配景信息、潜在的明锐属清晰给了能够获取这些数据的作事端或坏心截获者。
坏心报复者不错通过反复抽样和探伤，从这些看似害的输出概率中出用户的躲闪数据。
此外，从模子自己的能化角度来看，这种信息压缩的失败也解释了为什么大模子常常会产生幻觉。那些游荡在顶层 logits 中的关信息，在非贪心解码的生成历程中，随时可能对终身成的文本产生阻难，致模子输出带有偏见或的内容。
「What do your logits know?」这个论文标题中问题号称悬在生成式 AI 头顶的把达摩克利斯之剑。
蒂姆・库克带苹果设立起了全国上的科技买卖帝国，而当英勇棒传到约翰 特努斯手中时，怎样造既度智能又对保护躲闪的下代计较平台，将是苹果法遁藏的新命题。
这篇论告示诉咱们，在大模子的黑盒子里，即使是看似害的组概率数字，也可能褪色着你的玄妙。
相关词条:离心玻璃棉 塑料挤出机 钢绞线厂家 铝皮保温 pvc管道管件胶1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》恩施公路钢绞线，以此来变相勒索商家索要赔偿的违法恶意行为。