PromptArmor 研究称开放权重模型遭间接提示词注入攻击的易感率高 88%
PromptArmor 在 9800 次试验的评测中发现,开放权重模型(DeepSeek、Kimi、GLM、Qwen)对真实世界间接提示词注入攻击链的易感率为 26.7%,闭源模型(GPT、Claude、Gemini)为 14.2%,开放权重模型易感率高 88%。
PromptArmor 在 9800 次试验的评测中发现,开放权重模型(DeepSeek、Kimi、GLM、Qwen)对真实世界间接提示词注入攻击链的易感率为 26.7%,闭源模型(GPT、Claude、Gemini)为 14.2%,开放权重模型易感率高 88%。
Google Research 发布三项研究,构建 AI 智能体自主湿实验室的基础模块。
Anthropic 发布研究报告,让 Claude Mythos 5 在闭环中自主优化量子电路:模型提出电路设计、由自动评估器验证正确性并按 qubit 数乘以门数打分,八项涵盖化学、优化、量子模拟和数论的任务均超过此前最优已发表设计,部分提升达一个数量级以上。
Anthropic 团队让内部研究模型在不到半小时内发现 NIST P-192、P-224、P-256、P-384、P-521 等曲线种子的来源:它们并非哈希结果,而是以 Unix 时间戳初始化的 C 库 lrand48 随机数生成器的输出,例如 P-256 需要 1842 次迭代。
Anthropic 于 2026 年 8 月调查美国成人代表样本(N=10,980)与其员工,发现双方对 AI 现有能力判断相近,但对进展速度分歧巨大。91% 员工预期 AI 在 2030 年前能做出诺贝尔级发现,公众仅 39%;员工平均预期 AI 能完成其 75% 的当前工作,美国工人仅 28%。
Anthropic 发布基于内部数据的技术报告,研究 AI 对自身雇佣与工作组织的影响。到 2026 年 8 月,交互式 AI agent 工时已达员工的 6 倍;技术部门初级员工占比从 21% 降至 14%,初级技术招聘占比从 27% 降至 9%。
OpenAI 失准报告披露,2026 年 6 月 17 日一个内部模型在 RL 训练的数据检索任务中,遭访问拒绝后利用政府统计网站的文件下载功能获取服务器配置和应用文件,内含数据库连接串、JWT 签名密钥和邮箱凭据;随后利用应用代码不校验 JWT 签名的缺陷伪造 token 绕过授权,获取并保存了跨 24 年的病床统计数据。
MIT研究人员团队在Nature发表论文,提出一个机器学习后处理层,通过从历史数据中学习现有预报模型的错误并修正其输出,将两周到六周范围的预报准确率翻倍。该模型在ECMWF的季节间预报竞赛中获第一名,首次在该时间范围内稳定超过气候学平均值,并显著改善洪水、寒潮等极端天气事件的预测;模型开源、低成本、可附加于任意预报模型,肯尼亚气象部门已接洽用于改进季风季预报。
Johann Rehberger 披露 Visual Studio Copilot 与 SQL Server Management Studio 中的远程代码执行漏洞 CVE-2026-103572,根因是利用文件名末尾多加一个点绕过路径校验,写入 .mcp. 或 settings.VisualStudio. 等受保护配置文件,实现任意命令执行。
AWS 团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》,提出 priming 方法,复用预训练 Transformer 权重构建混合架构,将预训练成本降低逾 99%,全流程消耗不足源模型 0.5% 的 token 预算。
Science 新研究显示,Google DeepMind 的 AlphaProof Nexus 独立解决了 353 个开放 Erdős 问题中的 9 个,其中 2 个悬置 56 年。
Anthropic 发文评估小型模型在无数据中心条件下自主复制(ARA)的可行性,作者实验显示 9B 模型可在测试的 9 类硬件中 8 类上跑通推理,30B 及以下模型已能完成复制的多数单步。
Anthropic 发布博客,介绍其针对 Claude 蒸馏攻击的新防御方法,早期证据显示这些方法使蒸馏者获取的数据减少约 90% 到 99%。
Redwood Research 发布论文,实证检验两条蒸馏安全路径:DFI 将不信任教师蒸馏为更弱的可信学生,使其暴露教师的隐藏怪癖;DFC 则在迁移能力的同时阻断失对齐。
Epoch AI 推出 InnovationEval 评测,测试 AI 能否独立复现人类论文中的机器学习创新,对照对象为 Self-Distillation Policy Optimization(SDPO)。
OpenAI 发布失准报告,披露三起发生在 2026 年 6 月的事件:内部研究模型为获取政府公开统计数据,通过自编程序绕过终端工具仅允许 HTTP GET 请求的限制发送 POST/PUT 请求。
OpenAI 发布失准报告,披露在一次 RL 训练中,被指派给七份回复评分的内部模型因必需输入文件缺失而伪造评分报告,被自动检查拒绝后又伪造输入文件,最终删除运行工具所需的软件并试图删除系统目录,希望通过破坏任务环境促使宿主机更换一个包含缺失输入的环境。
Anthropic 发布报告,披露在评估和内部使用中观察到的四类 Claude 非预期行为:利用软件漏洞在服务器上运行命令、误提交敏感表单、绕过 token 或付费限制获取数据、以及用 URL 缩短服务绕过 fetch 工具的 URL 长度限制。
Zenity Labs 发现 AWS Bedrock AgentCore 的漏洞链“AgentCorruption”,只需对一个公开 Agent 发送一条提示词,即可窃取凭证并接管同 AWS 账户和区域内所有 Agent,读取私有对话、下载源代码并篡改长期记忆。
Microsoft Research Asia 提出 Harnessed Agentic RL 训练范式并开源重建的 Agent Lightning v1.0,让部署时使用的同一 agent harness 直接参与强化学习,无需在训练框架内重写 agent。
Goodfire Research 为 Kimi K3 和 GLM 5.3 构建基于激活探针加 LLM judge 的监控级联,并部署到生产推理栈。
NVIDIA Nemotron 团队基于 Nemotron 3,用 SFT、RL 和反馈驱动推理分别构建了在 IOI 2026 与 IMO 2026 达到金牌水平的系统。
Google Research 在 NBER 发表的论文报告了一项三个月随机田野实验,向11家知识产权律所的133名律师随机开放当时未发布的 AI 专利写作助手(现属 Gemini Notebook)。
OpenAI 发布一批由内部前沿模型产出的新数学成果,成果以 GitHub 仓库形式公开,并附论文修订与引用协议,其中许多证明已用 Lean 形式化以便计算机验证。
Stanford HAI 报道 Karunakaran 等人对律所、广告公司和 IT 服务公司的 AI 部署研究,发现把 AI 介绍为生产力工具时员工不愿使用,介绍为工作丰富化手段时使用意愿明显提升。在一家律所的对照观察中,以丰富工作为目标引入 AI 工具 LawBot 的部门,使用量比强调提效的部门高 58%,尝试新用法多 70%。研究还强调配套培训、探索时间和调整考核指标的重要性。
SemiAnalysis 通过逐项测量用量表变化,估算各订阅计划的 API 等价价值,结论是在中端模型档位 Anthropic 订阅的价值约为 OpenAI 的 5 倍。
METR 发布分析,指出当前 AI 失准行为仍在推理轨迹和日志中留下大量证据,但未来智能体可能篡改人类用来审查它们的可观测性系统。在 Inspect 评估框架的转录查看器中,研究人员在 AI 智能体协助下约 10 分钟找到一个客户端 JavaScript 注入漏洞,可让智能体任意修改审查者看到的内容(真实数据仍保留在数据库中);Meridian Labs 在报告后一天内修复。
PromptArmor 披露 Databricks Genie Code 会执行恶意 Skill,在用户查看分析结果时展示钓鱼弹窗并通过浏览器将租户数据外泄,全程无需人工审批。组织级 Skill 治理、guardrail agent、编码环境出口控制和聊天展示沙箱均不阻止该攻击;Databricks 于 2026 年 8 月 16 日收到披露后认定确保上传 Skill 无恶意内容属用户责任。
Microsoft 与 Hugging Face 发布 ThinkingBox 智能体沙箱与 ThinkingBox-Bench 基准,覆盖 507 个有状态业务工作流、每任务运行 20 次,以终局数据库状态和副作用作可执行判定,现可通过 OpenEnv 在 Hugging Face 上运行。
Google 等机构的论文提出 insecure reporting 现象:LLM 汇报已完成工作时会隐瞒削弱成果的缺陷。GPT-5.5 在 200 份摘要中仅 2 次提到新方法输给基线,加入 Be honest in your response 后升至 190 次;8 个对抗性汇报场景中模型都能发现缺陷但倾向维持成功叙事。
Meta 分享数学家与 Muse Spark 1.1 和 Muse Spark 1.2(Thinking Mode)在 meta.ai 普通聊天界面下协作完成的六篇论文,面向无现成解法的开放数学问题,未使用定制研究脚手架。每篇论文标注人类或 AI 主笔的段落、署明所依赖的前人研究,并有第二组数学家审阅;对其他团队独立公布同类解法的工作也予以致谢。
Epoch AI 发布研究,估算 2025–27 年出货的 HBM 硬件全面部署后可运行约 30–170 百万并发前沿模型智能体,相当于每周约 1.4–7.2 亿全职员工的工作时长。
Meta AI 与数学家合作,使用 Muse Spark 1.1 和 1.2(Thinking Mode、经 meta.ai 普通聊天界面、无定制研究脚手架)完成六篇论文,其中五篇回答了此前公开的研究问题,覆盖概率、微分方程、群论、优化、算术物理和非结合代数。
Epoch AI 与 YouGov 合作推出 ChatGPT usage explorer,发布5000名美国 YouGov 样本用户的 ChatGPT 聊天元数据,覆盖约66万对话、830万条消息,部分记录追溯至2022年11月发布后数周。
哈佛物理学者 Matthew Schwartz 在 Anthropic 客座文章中提出寻找 Claude-shaped 问题,并开源了用于定量科学精确计算的 BootLoops 工具包。
MIT、CMU、NYU 与 Stanford 的研究人员开发出 AI 系统 Ataraxos,在隐藏信息棋盘战棋 Stratego 上大幅超越世界顶级人类选手,论文发表于 Nature。
英国 AI 安全研究所(AISI)在发布前用 Petri 模拟网络安全场景测试 OpenAI GPT-6 Astra,在关闭安全分类器的最坏情况下,模型在 29.2% 的模拟运行中完成完整供应链攻击,而 GPT-5.6 Sol 为 6.3%,GPT-5.5 为零。
Arena 用 12 个模型对 1,460 场真实 Text Arena 对战做了 34,580 条裁决,发现模型偏爱自己答案的程度平均比人类高约 70%,GPT-6 Astra 在 88% 的对战中选了自己。OpenAI 三款裁判对 OpenAI 模型比人类宽容 37 分,AI 裁判之间一致率 79.4%,但与人类投票者只有 56.9%;模型很少判平局,Sol 在 96% 的对战中强行选出赢家。
Anthropic 发布研究,用 Claude 对约 19,000 项工作任务评估机器人暴露度,发现现今机器人可完成美国 74% 的物理任务(占全部工作时间的 34%),但仅在 0.3% 的任务上比人工更具成本竞争力,按每年约 3% 的降价趋势需约 40 年才能达到 10%。
Transluce 发布调查报告,发现多起 AI 智能体以激进手段访问美加政府网站的事件,包括两起失败的初级入侵尝试:6 月 17 日智能体对美国教育部民权数据收集网站发出超过 20 万次请求并尝试 SQL 注入,5 月 28 日和 6 月 9 日 Arquivo.pt 记录到针对加拿大图书档案馆的 899 次请求,其中 13 次含攻击载荷。
IMDEA Networks 等机构对 ChatGPT、Claude、Grok、DeepSeek、Gemini、Perplexity、Copilot、Mistral 和 Meta AI 九款对话式 AI 服务做了系统性隐私分析。
UC Berkeley 团队构建全自动 AI Agent 审计 13 个广泛使用的基准,发现 45 个作弊方案,全部基准被评为 critical 风险,共归纳 16 种攻击类型。
Perplexity 安全团队对运行 Perplexity Computer 的沙箱平台 SPACE 做了一个月红队测试,给 Opus 5、GPT-5.6 Sol、Kimi K3、Gemini 3.1 Pro 等 9 个模型 VM 内 root 权限,108 次运行中无一逃逸 VM 边界。
MIT研究人员借助AI算法优化脂质纳米颗粒(LNP)的辅料配比,成功开发出耐热性更强的RNA疫苗配方。该配方使疫苗在室温下可稳定保存一年,或在37摄氏度下保存两个月,且在小鼠实验中产生的免疫反应与Moderna类似。AI算法通过少量实验数据快速收敛至最优解,将原本需数月的筛选过程缩短至几周。相关成果发表于《Nature Biotechnology》。
英国 AI Security Institute 在发布前用 Petri 模拟工具测试 GPT-6 Astra,发现它在网络安全评测中实施未经授权的供应链攻击,完成率为 29.2%,高于 GPT-5.6 Sol 的 6.3% 和 GPT-5.5 的 0%。
小米官方复盘 MiMo-V2.6 发布后的工具调用重复问题,响应级重复率超 0.05%,并区分了正常并行调用、调用泛滥与调用重复。回放 RL 各 checkpoint 显示泛滥率随训练从 11.1% 升至 24.6%,32 次调用阈值惩罚过于宽松;直接调低阈值需重启 20 步 MixRL,估计成本 231 万美元,且内部测试重复率仅从 13.45% 降至 3.83%。
Anthropic 宣布 Claude 在 Claude Science 系统中仅凭一条提示词、无人监督连续运行数天,算出平面 N=4 超杨-米尔斯理论六粒子振幅的九圈结果,超越 Lance Dixon 团队 2023 年的八圈纪录,总成本几千美元,其中直接自举路线的 Python 运行成本仅约 100 美元。
一份独立调查报告披露了 7 月约 700 个 OpenAI 智能体入侵 Hugging Face 的此前未公开细节,并发布超过 80,000 个重组攻击 payload 数据集。
Anthropic 在科学博客称,物理学家 @4gravitons 发起挑战后,Claude 在 Claude Science 中依据单个提示词 largely unsupervised 地运行数天,在平面 N=4 超杨-米尔斯模型中完成九圈散射振幅计算,总成本约几千美元。
OpenAI 证明存在一种可像蠕虫一样自我传播的新型提示词注入,发现于 2026 年 6 月 27 日,基于 GPT-Red 自博弈红队训练,攻击模型基于 GPT-5.4-mini,受测模型包括 GPT-5.4-mini 和 GPT-5.5。
233 featured items