首页财产ai正文 苹果新论文发出惊人一问：What do your logits know? 执掌苹果超14年的蒂姆·库克9月将离任CEO，当时代苹果市值飙升。此时苹果AI研究团队有新论文，展现年夜模子底层信息留存和隐私安全隐患。 2026-04-27 13:59 ·呆板之心存眷AI隐私的 AI投资人解读· 苹果AI研究团队论文涉及年夜模子底层逻辑，关乎用户隐私与数据安全。研究发明残差流保留年夜量细节，终极Logits也存于信息泄露问题，极少量Logits就能泄密，且与深层破解危害相称。 · 年夜模子信息压缩掉败致其常孕育发生幻觉，影响输出内容。贸易运用中公然的模子终极top-k对于数几率存于隐私泄露隐患。 总结：苹果此项研究展现年夜模子隐私危害，对于其于AI范畴成长影响庞大，运用中需存眷隐私掩护，技能上要优化信息压缩，降低安全隐患。内容由AI天生，仅供参考

近日，有个年夜新闻：执掌苹果跨越 14 年的蒂姆・库克公布将在 9 月正式离任 CEO 职位，将接力棒交代给现任硬件工程高级副总裁约翰・特努斯。回首库克时代，人们津津乐道在他*的供给链治理艺术以和领导苹果市值一起飙升至 4 万亿美元的路程。

然而，于这个由天生式 AI 主导的全新十年里，特努斯接办的将是一个亟需于 AI 范畴证实本身的苹果。

苹果最近几年来于 AI 底层技能层面的投入正于不停加码。恰于此时，苹果 AI 研究团队提交了一篇*切磋价值的论文《你的 logits 知道些甚么？（谜底可能会让你惊奇！）》

论文标题：What do your logits know? (The answer may surprise you!)

论文地址：https://arxiv.org/abs/2604.09885

这项研究涉及了年夜模子运作的*层逻辑，也直接关乎苹果最为注重的焦点价值：用户隐私与数据安全。

接下来，咱们就基在这篇论文，看看年夜模子于回覆简朴问题时，毕竟于底层「偷偷」记住了几多你的奥秘。

焦点观点：信息瓶颈原则

要理解这篇论文，咱们起首需要相识一个要害观点：信息瓶颈原则 (Information Bottleneck Principle)。

打个比喻，假定你是一家年夜型跨国公司的 CEO，你需要决议是否收购一家草创企业。你的下层调研团队会网络海量的信息，包括该公司的财政报表、员工的午饭爱好、办公室的装修气势派头等。

可是，当这份陈诉层层递交，终极放到你的办公桌上时，它应该被年夜幅压缩，只保留那些对于「收购」决议计划至关主要的财政及技能指标。保留过剩的无效信息不仅会滋扰你的判定，还有可能致使决议计划掉误。

对于在视觉-语言-模子 (VLM) 也是同理。

举个例子，你有一张信息量很年夜的照片，并将其上传给模子，并扣问「图片里有一只灰色的猫吗？请用一个词回覆」。按照信息瓶颈原则，一个抱负的模子于终极输出「Yes」或者「No」时，应该早就把配景里的沙发颜色、窗外的气候等无关信息全数过滤失了。

但苹果这篇论文提出一个疑难：模子真的做到了完全遗忘吗？

为了找出谜底，研究职员截取了模子处置惩罚信息的差别阶段举行测试。详细来讲，他们重要考查了如下两个代表性的层级：

残差流 (Residual Stream)：这相称在公司底层网络数据的重大数据库。它包罗了模子于处置惩罚历程中的所有隐蔽状况。

终极的 Logits：Logits 是模子于输出末了一个词以前，针对于辞书里每个辞汇打出的原始几率患上分。取排名前列的候选词患上分，就是 top-k logits。这就比如呈递给 CEO 的终极选项清单。

试验设计

研究职员引入了一个名为「探针」(Probes)的轻量级神经收集东西。探针的作用，就是专门盯着模子特定层级的数据，试图从中强行推测出图片的原始属性。

试验利用了两个重要数据集。一个是彻底由人造几何图形构成的 CLEVR 数据集，内里包罗各类巨细、颜色及材质的立方体或者球体。另外一个是包罗繁杂真实糊口场景的 MSCOCO 数据集。

研究职员对于图片举行了各类滋扰，好比插手高斯噪声、玻璃恍惚或者运动恍惚。

随后，他们向模子发问。于得到模子的内部数据后，他们练习探针，看看能不克不及从残差流或者终极的 logits 中，反向揣度出图片插手的噪声级别、方针物体的颜色，甚至是没有被发问到的配景物体的特性。

于滋扰测试中，研究职员还有发明了一个有趣的征象。当施加最严峻的高斯噪声时，Qwen3-VL 模子的正确率遭到了极年夜的影响，偏向在将谜底由「Yes」翻转为「No」，而 LLAMA 模子于面临高斯噪声时则揭示出了相对于更强的不变性。这些差别的体现反应了各模子于提取决议计划相干信息时的内部差异。

七年夜发明

经由过程测试，苹果团队患上出了一系列展现模子底层机制的结论，完备揭示了信息于模子内部的留存状况。

发明一：残差流是全知万能的 Oracle

于处置惩罚视觉输入时，残差流险些一成不变地保留了图片的一切细节。

研究注解，不管是与终极决议计划直接相干的图象噪声类型，还有是方针物体的外形及颜色，亦或者是彻底无关的配景物体数目与属性，探针都能从体现*的隐蔽层状况中以靠近*的正确率提掏出来。于这一层，模子就像一个过目成诵的窃看者，还没有履行任何有用的信息压缩。

发明二：残差流的低维投影一样「藏不住奥秘」

为了不雅察信息怎样向终极输出过渡，研究职员利用了 Tuned Lens 技能来提取残差流向 Logit 空间映照的蜕变轨迹。

测试注解，纵然仅仅不雅察排名前 2 的猜测轨迹 (trajectory-2) ，探针不仅能提掏出年夜量方针及决议计划相干的焦点信息，依然会容易读掏出诸多配景物体的特性。这印证了此前业内关在语言模子隐蔽状况易遭奥秘提取的研究，证实这些深层轨迹并无遵照抱负的信息瓶颈原则举行有用的过滤。

发明三：终极层 Logits 靠得住地编码了决议计划与方针信息

于模子行将天生回覆的末了一层，信息压缩确凿发生了，但远不敷完全。

仅不雅察排名前 2 的终极 Logits （即对于应「Yes」及「No」的患上分），探针就能以极高的正确率猜测出影响模子决议计划的图象噪声级别及类型。

而当不雅察的候选辞汇数目增长到包罗所有巨细写的 yes/no 变体（ k 约等在 10 至 13 ）时，方针物体的各种属性信息就最先变患上清楚可解码，并于提取数目等同在模子层数（ 1L ，约 30 至 40 个候选词）时到达猜测的正确率*。

发明四：终极 Logits 暗暗记住了提醒词「未说起」的方针属性

这是激发严峻安全担心的焦点发明。

假定咱们向模子发问「图片里有一个蓝色的圆柱体吗？」，虽然提醒词明确给出了颜色及外形，但彻底没有说起该物体的材质及巨细。然而，探针依然能从模子终极输出的前 0.5L 数目的候选项中，极为靠得住地猜测出这个圆柱体毕竟是橡胶还有是金属材质的，以和它的详细尺寸。

这象征着模子为了患上出终极结论，不仅挪用了相干特性，还有将冗余的方针特性作为伴生数据一并带到了极易袒露的表层。

发明五：终极 Logits 甚至充任了情况的「录相机」

除了了紧盯方针物体，终极层的 Logits 还有于黑暗记载着周围的情况。

虽然排名前 2 的 Logits 险些不包罗配景信息，但只要不雅察的候选词数目轻微增长，这些看似只有单个单词的表层输出漫衍，就能显著且高在随机程度地猜测进场景中非方针物体（如配景中的其他几何体）的数目、颜色等属性。只需获取适当的输出漫衍数据，不相关的配景隐私便无处遁形。

发明六：泄密往往只需要前 60 个摆布的 Logits （呈 U 型曲线）

研究团队不雅察到了一个有趣的猜测能力 U 型曲线。

仅看排名前 2 的候选词时，模子险些只袒露噪声信息；增长不雅察数目后，探针的猜测正确率会迅速爬升，并于截取 30 至 80 个 Logits （视详细模子深度 1L 或者 2L 而定）时到达颠峰。假如继承扩展 Logits 调集到 4L 或者 5L 以上，猜测能力反而会由于高维噪声滋扰而跌落回随机程度。

这注解，歹意提取者底子不需要获取重大的完备输出词表，少量的头部候选辞汇就是泄密的重灾区。

发明七：于划一维度下，终极 Logits 的危害与深层破解无异

已往的黑客或者研究者想提取年夜模子底层的秘要常识，往往需要采用白盒手腕获取模子内部的参数轨迹，门坎极高。

但这项研究展现了一个残暴的实际：假如连结不异的不雅察维度，提取模子最表层且常常经由过程 API 对于外开放的终极层 top-k Logits （凡是只需要截取 2L 数目），其泄露无关信息的能力与需要极高权限的深层日记轨迹险些彻底相称。这打破了业内对于在灰盒 API 拜候具备自然安全樊篱的传统空想。

技能暗地里的深远隐忧：隐私与年夜模子安全

于年夜概理解了试验历程以后，咱们不由要问，这到底象征着甚么？

苹果团队敏锐地指出了这一征象暗地里的巨年夜安全隐患。

于现实的贸易运用中，很多 API 接口或者办事提供商为了闪开发者调解参数，会公然模子终极的 top-k 对于数几率，这就是所谓的灰盒场景。

这象征着，当用户上传一张包罗隐私信息的照片，仅仅是让模子履行一个无关痛痒的视觉问答使命时，模子看似只输出了一个「Yes」或者者一段简短的文字，但其暗地里附带的那几十个最高几率辞汇的患上分漫衍，已经经暗暗把你照片里的配景信息、潜于的敏感属性泄露给了可以或许获取这些数据的办事端或者歹意截获者。

歹意进犯者彻底可以经由过程重复抽样及探测，从这些看似无害的输出几率中还有原出用户的隐私数据。

此外，从模子自身的机能优化角度来看，这类信息压缩的掉败也注释了为何年夜模子常常会孕育发生幻觉。那些倘佯于顶层 logits 中的无关信息，于非贪心解码的天生历程中，随时可能对于终极天生的文本孕育发生滋扰，致使模子输出带有成见或者虚伪的内容。

结语

「What do your logits know?」这个论文标题中问题可谓悬于天生式 AI 头顶的一把达摩克利斯之剑。

蒂姆・库克领导苹果成立起了世界上最高效的科技贸易帝国，而当接力棒传到约翰 特努斯手中时，怎样打造既高度智能又*掩护隐私的下一代计较平台，将是苹果没法逃避的新命题。

这篇论文告诉咱们，于年夜模子的黑盒子里，纵然是看似无害的一组几率数字，也可能隐蔽着你的奥秘。

【本文由投资界互助伙伴呆板之心授权发布，本平台仅提供信息存储办事。】若有任何疑难，请接洽（editor@zero2ipo.com.cn）投资界处置惩罚。