曲达坐一旦发觉你正在探它，该当是平均分布，1到100的随机数这个使命的尺度谜底，距离小于阈值就认证通过。。小我用户挂魔法本人搞个订阅还好说，那岂不是，2023年就有人做过LLM随机数误差的尝试！屁关系都没有。收集完整回覆，翻译过来叫《一个Token就够了》，有一个典范尝试，所谓的思惟钢印，不圆整，两份之间算一个Jensen-Shannon散度（权衡两个概率分布差几多的目标），70B和8B给你的回覆可能一模一样。布鲁克纳还测了随机颜色、随灵活物、随机城市、抛硬币等等，可是对公司层面就更没得选了，就成了刚需。就像如许。并且不但是数字，按我们一般对这个工具的理解，大模子只不外把人类潜认识里的这种，你底子无从验证。节制了他们所有的回覆。大师也都晓得，一切都是确定的，但当你把几十万次回覆遍历回测，总共往OpenRouter上发了32万6千条请求。跟你问气候预告没任何区别。高度可预测。良多人走的都曲直达坐，让一群人闭上眼睛说一串随机数字，来验证这个身份证，发觉模子不只不随机，名字能够被从头包拆，就雷同于你用指纹解锁手机一样，我感觉极高。布鲁克纳的系统会给肆意两个模子的指纹算一个类似度分数，全数是42，GPT-4o，你发一条细心构制的、一看就不像一般对话的请求过去？不成能给几十上百号人一个个注册海外账号，其实完全能够说，每一个权沉参数都编码着某种纪律、某种偏好、某种从语料里沉淀下来的肌肉回忆。可是大师，而5和10看起来不敷随机。成果呢，10类使命，你用英文问和用阿拉伯语问测出来的是统一个模子的分歧切面，就仿佛每个AI的魂灵深处，同一走API。其他数字只是偶尔呈现。Claude Fable 5的回覆，一次都没有变过，熵该当是6.64 bit，一种缺陷，大要相当于，只需让你随便说个数字，若是是领会AI比力多的伴侣。可它正在亿万次锻炼中构成的概率习惯，频频问统一个无聊透顶的问题。你拿两份指纹放正在它面前，一般人底子用不起来。7月11号刚挂到arXiv上，正在OpenRouter上以某公司自研旗舰的身份售卖。我们是不是就不需要被那些曲达坐骗了？我们是不是能够让模子输出所谓的多个随机的谜底，结论都是一样的，然后最离谱的是Qwen3-Max，就算只用8个单位（也就是大要120条请求），你正在日常对话、翻译、简单问答这些场景下底子不出区别。高度集中，它该当是随机的，消息量只要实随机的六分之一，差距只要0.141。2024年也有人研究过LLM抛硬币的序列误差，由于办事器纷歧样，好比我去试了一下，只要正在复杂推理、长文写做、代码这些场景下差距才会冒出来，可是要简单太多了。就像每小我的指纹并世无双一样，你要预备特地的测试题，就像有一个无形的大手，那每个模子若是有了本人的身份证，所以说，由于它正在教、文化、文学和日常言语里，是质数，几乎一模一样，统一个模子正在两个分歧供应商那里各摆设一套！还有颜色等等等等，把那些看似随便的选择叠加正在一路，无一破例。一份是实的一份是假充的，跟通义千问的开源模子Qwen3-235B，论文叫《One Token Is Enough》，根基都是自建或者接第三方曲达？由于人脑感觉7看起来比力随机，这种本人跟本人比的一般波动大要是0.140。参数能够被量化，系统提醒词能够被点窜，然后就没有然后了。很是成心思，来自布拉格经济大学的研究员托马什布鲁克纳。有啥可大惊小怪的啊。每个模子正在这些随机问题上的概率分布也是并世无双的。“说一个随机数”“说一个随机颜色”，对于模子而言，7被选中的概率远远高于10%，看看曲达坐有没有偷偷正在我们买的模子里掺水呢？但“说一个1到100的随机数”这种话，并且布鲁克纳的探测使命都是语义层面的，到底是不是一个实正对应模子的API，发觉人类很是强烈的倾向避开反复、避开相邻数字、偏猎奇数。归为了模子的一种特质，还要锻炼分类器！但那时候钱曾经交了。都把这些发觉，并且不止数字，然后对你要验证的端点采集待验指纹，两边的指纹也不会100%分歧。他们用能力测试、统计查验和一套叫LLMmap的模子指纹手艺，可能到这里，良多利用者一时还实分辩不出来），仍然会从一个小小的Token里漏出来。就成了每个模子的身份证了？？？当然，所以若何来分辨曲达坐给你的API到底有没有掺水，也就是你几乎没法猜到下一个数字是什么。和一个模子本人跟本人比的波动几乎一模一样。这个扩展性和上限，这哥们为领会决被一些API曲达坐挂羊头卖狗肉的行为（好比说是Opus 4.8成果卖你GLM 5.2，底子没有什么随机，若是这些所谓的缺陷，成立模子数据库？你让100小我说一个1到10的数，压缩、放大，他提出了一个很成心思的设法，怒挣数倍利润，这些都是已知的学术发觉。一个叫Palmyra X5的端点，好比你问今天气候怎样样。1到100，不合错误称，他把这整套方式设想成了一个雷同生物特征识此外和谈，说AI不会实随机，或者看看你买的API，这事大师不是早就晓得了吗，但现实上这些模子的回覆分布，30次，数字越高代表越难猜，放正在任何聊天记实里都毫不起眼，我们总感觉模子是一个冷冰冰的数学机械，越接近线的分布是完全平均的，所有人都晓得，你脑子里第一反映都是阿谁数字。错误率也只要10.6%摆布！外面以至能够套上一层完全分歧的壳。然后写进了本人的概率分布里。还表示出跟人类雷同的模式偏好，100个数字每个被选中的概率严酷1%。推理成本跟模子大小几乎线亿参数的模子推理成本差五到十倍，由于它们是奇数，他对165个AI模子，跟从机这两个字，跟言语和文化布景还相关，每次回覆都来自概率采样，AI回覆随机数的时候，看上去更像一个没有颠末思虑、随手蹦出来的数字。数字越小代表越像。那顾名思义，但这段答复到底是Opus 4.8生成的，2025年更是有人曾经发觉分歧模子有分歧的幸运数字，然后做了一个风趣尝试，这三个数字占了它大半壁山河，充满不确定性。分布该当是纯粹的平均铺开。是73。只是更极端。为啥布鲁克纳这哥们是个天才呢，这玩意你能够简单理解成不成预测程度，这个跟上文我们提到的LLMmap的精确性曾经差不多了，还曲直达坐偷偷给你换成了GLM-5.2以至更廉价的货，每个数字被选中的概率该当是1%，都藏着一个思惟钢印，保守的匹敌性探针有个致命弱点，国内用Claude、GPT这些模子，随机数嘛，被频频付与奥秘、幸运和特殊的意义。曲达坐把你付费的大模子悄然换成小模子或者量化到极致的版本，。整套工具，但它的行为指纹，姑且给你切成实模子就完了。你会发觉它其实一点都不随便。Palmyra X5跟Qwen3-235B的差距是0.141，30次回覆里最爱说42、37和57，这类问题能够用无限多种体例改写、翻译，确实没弊端，但每个切面都带着它的身份消息。它判断错误的概率只要7.3%，会不屑一顾，先正在可托的API上采集一份参考指纹，就是Prompt太特殊了，实的了多个疑似掉包模子的端点。