跳到主要内容
AI资讯

安全治理

AI 安全、隐私、合规、治理和风险事件。

持续更新当前 67 条资讯
01安全治理IT之家

谷歌推出 Gemini 3.8 Flash Cyber 模型,内部已全面部署用于代码安全防护

当地时间 9 月 2 日,谷歌宣布推出 Gemini 3.8 Flash Cyber 模型,通过 Fairwind 计划面向首批受信任的安全防护团队开放。

02安全治理IT之家

美国呼吁 G20 成员国对 AI 监管采取克制态度,避免制定过多新规则

美国在 G20 会议上主张对 AI 监管持谨慎态度,避免制定过多新规,这与谷歌、Meta、SpaceX 等科技巨头的诉求一致。会议讨论了 AI 安全测试、开放权重模型等议题,同时面临中国 AI 实力崛起的挑战。#AI监管#

03安全治理IT之家

OpenAI 吸取“AI 越狱”事件教训,首个达“关键”门槛模型 Astra 因能力过强将限制网络安全功能

据彭博社报道,OpenAI 计划很快发布新 AI 模型 Astra,但初期仅限少数测试人员使用其高级网络安全功能。该公司称其已触及“关键网络安全门槛”,能自主识别零日漏洞,并已加强安全护栏以防滥用。#OpenAI# 此前曾发生 AI 模型意外攻击事件。

04安全治理外部资讯IT之家

中央网信办:当前 AI 领域主要面临 5 方面安全风险挑战

在今天(9 月 1 日)举办的 2026 年国家网络安全宣传周新闻发布会上,中央网信办网络安全协调局副局长、一级巡视员王丽宏介绍,当前人工智能领域主要面临 5 方面安全风险挑战。

05安全治理外部资讯IT之家

英国监管机构警示:医疗 AI 转录工具频繁出错,威胁患者安全

英国 NHS 监管机构警告,AI 医疗记录工具可能错误识别药物和疾病名称,一名患者被误诊为“脱髓鞘”,险些影响治疗。专家呼吁建立明确纠错机制,确保患者安全。 #AI医疗安全#

06安全治理IT之家

英格兰银行行长贝利警告:先进人工智能威胁全球金融稳定

英格兰银行行长安德鲁 · 贝利在致 G20 财长的信中称,前沿 AI 模型可能通过网络攻击扰乱全球金融体系,且破坏可迅速扩散。他呼吁各国建立机制,确保 AI 安全部署。已有 1367 名 AI 研究人员联名警告,AI 能力或超越人类控制。#AI安全# #金融风险#

07安全治理IT之家

日均峰值 11.3 起:报告称 2026 年已记录 1664 起 AI 失控事件,7 月环比增 93.76%

英国长期韧性中心(CLTR)于 8 月 28 日发布报告,称其“失控观察站”在 2026 年 7 月共记录 306 起 AI 安全事件,比 6 月(158 起)增涨 93.67%。

08安全治理外部资讯IT之家

Anthropic 安全框架自动降级:Claude 误删开发者 700 GB 主目录,自动化清理反成灾难

开发者测试 AI 文件删除防护时,因 Anthropic 安全框架自动降级模型,测试后清理环节复用变量名出错,误删整个用户主目录,虽恢复部分数据仍有损失,暴露出 AI 安全新问题。#AI安全# #Claude#

09安全治理IT之家

Debian 社区议案表决:开发者可使用生成式 AI,人类负最终责任

Debian 社区近日投票决定,允许开发者负责任地使用生成式 AI。新政策不禁止 AI 辅助开发软件和文档,但要求人类开发者对 AI 生成的内容负最终责任,并确保质量与法律合规。此举平衡了 AI 效率与开源社区的法律风险。#DebianAI政策#

10安全治理IT之家

OpenAI 提交新请愿书,要求驳回苹果诉讼

针对苹果的窃密指控,OpenAI 近日提交新请愿书,要求法院彻底驳回此案。OpenAI 称苹果证据不足,且两名前员工并无滥用机密信息。法院预计 10 月 1 日召开听证会。 #OpenAI诉讼苹果#

11安全治理外部资讯IT之家

美国加州联邦法官裁定 Anthropic 在与美国国防部等的诉讼中胜诉

Anthropic 还在华盛顿特区起诉了美国国防部。该公司需要再次胜诉才能完全解除“黑名单”认定。

12安全治理IT之家

OpenAI、微软、谷歌等 116 家公司发联名信,呼吁高度重视 AI 时代的网络安全

本次签署方涵盖了网络安全企业、金融服务公司、半导体厂商以及云服务提供商。

13安全治理IT之家

央视曝光 AI 相亲骗局,虚假婚介专针对中老年女性下手

四川成都警方打掉一个利用 AI 生成男性形象进行婚恋诈骗的团伙,涉案金额超百万。该团伙通过短视频平台引流,甚至使用变声器与受害者“直播连线”。#AI诈骗##婚恋陷阱# 专家呼吁平台应加强技术识别与风险预警。

14安全治理IT之家

OpenAI 发布 Hugging Face 安全事件官方报告,还原 AI 模型沙箱逃逸全过程

OpenAI 近日发布报告,详细还原了 Hugging Face 遭入侵事件的经过。一款 AI 模型在测试中因无解任务而串联漏洞,突破安全限制。报告披露了模型身份及后续安全措施,包括加强思维链监控。该事件再次引发对 AI 安全边界的深思。#AI安全#

15安全治理外部资讯IT之家

研究团队调查发现超七成英语生物医学论文已使用 AI 辅助写作,呼吁业界建立完善监管机制

研究团队分析百万余篇生物医学论文后发现,2025 年超七成英文生物医学论文已存在 AI 辅助写作特征,非英语母语地区使用比例超八成。AI 大规模进入学术写作也暗藏风险,专家呼吁完善使用规范 #AI学术写作#

16安全治理IT之家

OpenAI 推出青少年版 ChatGPT,多名儿童安全专家质疑安全机制透明度

多名儿童安全专家对 ChatGPT 青少年版的评价并不一致,但所有人都认为,在向家长和年轻人推荐之前,这套系统还需要接受大量独立测试,OpenAI 必须更加透明地说明安全机制究竟如何运作。

17安全治理IT之家

OpenAI 首席全球事务官勒汉恩:公众、企业要为 AI 网络攻击做好防御准备

随着安全风险上升,OpenAI 本周宣布暂停开发部分最先进的内部模型。勒汉恩表示:“从这项技术现在能够做到的事情来看,AI 已经进入了一个不同的阶段。”

18安全治理IT之家

因使用主播内容训练亚马逊 AI,Twitch 面临集体诉讼

Twitch 及亚马逊因未经授权使用主播内容训练 AI,在加州被提起集体诉讼。原告指控平台违反协议,且退出机制不完善。此举引发主播社群强烈反对,要求 AI 功能变为可选项。#TwitchAI争议#

19安全治理IT之家

OpenAI 扩展零数据留存安全机制,自动化分析跨交互风险

OpenAI 公司今天(8 月 20 日)发布博文,宣布面向符合资格的前沿模型 API 客户,推出“零数据留存”(Zero Data Retention)服务,其提示词和模型回复会在请求处理完毕后删除。

20安全治理IT之家

“AI 教母”李飞飞:身为科技从业者,应把“AI 能带来什么好处”讲得更清楚

“AI 教母”李飞飞认为,包括她自己在内的科技从业者还需要更好地向公众说明人工智能能带来什么价值。她同时警告,美国社会对 AI 的反对情绪不断升温,可能给全球带来风险。

21安全治理IT之家

网络攻击频发,法国政府部门将用 AI 检测网络安全漏洞

为应对连续发生的网络攻击和数据泄露事件,法国政府决定引入 AI 工具检测网络安全漏洞,并已委托本国人工智能公司承担任务。近期多起攻击导致数百万纳税人信息泄露,安全形势严峻。#网络安全#

22安全治理IT之家

微软 Copilot AI 漏洞被披露:恶意链接绕过用户确认窃取隐私数据

科技媒体 Ars Technica 昨日(8 月 18 日)发布博文,报道称微软 Copilot 存在安全漏洞,可以通过?autorun=1 参数,配合?q= 绕过用户确认,从而窃取用户信息。

23安全治理IT之家

AI 辅助撰写提案涌入美国国会:充斥细节错误,拖慢审核进度

媒体 politico 昨日(8 月 18 日)发布博文,报道称人工智能(AI)正进入美国国会立法流程。大量 AI 辅助撰写的提案涌入美国国会,但律师清理错误草稿耗时增加。

24安全治理IT之家

OpenAI 宣布新安全政策,加强模型开发监控与网络隔离

OpenAI 当地时间周二宣布一系列新安全措施,重点包括在模型测试期间加强监控、强化网络隔离,并承诺在发现可疑活动后 30 分钟内发出警报。此举源于此前发生的 Hugging Face 安全事件,但公司表示并非直接针对。这些措施将随模型能力增强而愈发严格。#OpenAI安全#

25安全治理外部资讯IT之家

佛州一男子向 ChatGPT 描述“杀害前女友”计划,OpenAI 报案了

美国佛罗里达州男子达伦 · 周因向 ChatGPT 描述杀害前女友计划,被 OpenAI 主动举报给 FBI。警方调查发现其聊天记录充满威胁和演练,今年 5 月被捕。

26安全治理IT之家

Anthropic 自曝安全漏洞:生物武器过滤器曾失效近一年,涉及 1.33 亿次对话

失效期间涉及 1.33 亿次对话,目前暂未发现相关请求被实际滥用,Anthropic 已修复问题并加强了外部承包商的筛查管理 #AI安全#

27安全治理IT之家

准确率 87%-91%,AI 可通过图片视觉线索识别拍照地点

McAfee 最新研究显示,AI 能通过分析照片中的视觉线索(如建筑、招牌、植被)判断拍摄地点,准确率高达 87%-91%。即使删除 GPS 元数据,你的照片仍可能暴露行踪,或被诈骗分子利用。#隐私安全#

28安全治理IT之家

支持澳大利亚青少年社交媒体禁令的报告存在多处引用错误,机构承认使用了 ChatGPT 编辑

澳大利亚一份耗资 348 万澳元的年龄验证技术报告被发现多处引用错误,作者最初否认使用 AI,后承认用 ChatGPT 改写段落。报告被指出现 AI“幻觉”导致的虚假引用,引发对政府决策风险的担忧。#AI争议#

29安全治理外部资讯IT之家

尴尬:美国制定 AI 监管规则的议员团队,自己却用 AI 工具起草法案

据《华盛顿邮报》报道,OpenAI、Anthropic 和 xAI 的聊天机器人正成为美国国会热门工具。佛罗里达州众议员卢纳的助理误将 Claude 生成的内容粘贴进《国防授权法案》记录,留下混乱文本。目前美国国会缺乏有效 AI 监管,工作人员基本自行使用。

30安全治理IT之家

英国研究多种防范措施,避免恐怖分子利用 AI 制造生物武器

英国政府准备监管人工智能在基因合成领域的应用。随着官员对生物安全风险的担忧不断加深,英国政府认为,如果全球缺少有效监管,AI 可能降低制造生物武器的门槛。

31安全治理IT之家

中国美协首届儿童图画书大展一作品被指 AI 生成,工作人员回应“已经撤下”

一幅名为《把夏天装进书包》的作品在山东美术馆展出,因儿童手指扭曲、六指等明显 AI 生成特征被举报。中国美协回应称已取消该作品入展资格。#AI创作争议# #儿童图画书大展#

32安全治理IT之家

消息称美国 AI 网络安全审查机制未来很可能会覆盖前沿开源模型

据称这里的“前沿”定义是与 Anthropic Claude Mythos 或 OpenAI GPT-5.6 能力相当。报道并未给出详细的对应模型版本。

33安全治理IT之家

李飞飞:AI 进入校园的最大风险,是可能削弱孩子的学习能力

李飞飞认为,最糟糕的结果,是年轻一代的自主性,以及作为人的学习和生活动力被工具夺走。“无论是人还是机器,都不应该夺走它。”

34安全治理外部资讯IT之家

谷歌力推的 AI 招聘工具遭自家 DeepMind 团队“打脸”:或不小心误筛简历

负责降低先进 AI 风险的 Google DeepMind AGI 安全与对齐团队鼓励应聘者在正常投递之外,再填写一份专门表格,免得申请被谷歌内部 AI 系统自动筛掉。

35安全治理外部资讯IT之家

消息称字节继 Seed、Flow 后又成立新的一级部门,着眼 AI 数据与安全

36 氪“智能涌现”今天(11 日)援引多个信源消息称,字节跳动近期成立了一个新的一级部门 ——AI 数据与安全,与 Seed、Flow、抖音等部门平行,负责人为王赢磊(Adam Wang)。

36安全治理IT之家

OpenAI 伦理主管 Chloé Bakalar 悄然离职,在岗不到一年

OpenAI 发言人表示:“我们感谢 Chloé 的贡献。在 OpenAI,人工智能伦理并非由某个所有者或团队负责,伦理考量已深深融入到模型构建过程中,并由多个研究团队共同参与。”

37安全治理IT之家

美参议员致信 OpenAI、Meta、Anthropic 公司 CEO,要求其暂停 AI 开发

因发生 AI 智能体逃离控制并入侵第三方平台等事件,美国参议员桑德斯致信 OpenAI、Anthropic、Meta 三家 AI 巨头,要求暂停开发,否则国会将介入。#AI安全#

38安全治理IT之家

OpenAI 扩展网络安全防御服务 Daybreak,推出新 AI 模型 GPT-5.6-Cyber

OpenAI 宣布扩展其网络安全防御服务 Daybreak,新增 Blue 和 Red 两个等级,并推出专为安全任务设计的模型 GPT-5.6-Cyber。此举旨在应对日益猖獗的 AI 智能体恶意攻击。该模型目前仅向 CrowdStrike、IBM 等可信客户开放。#AI安全#

39安全治理IT之家

安全公司曝光谷歌引擎能搜索到 Claude 公开分享的对话,易泄露用户敏感信息

安全公司发现,Claude 公开共享的聊天记录会被谷歌搜索引擎抓取索引,导致用户敏感信息暴露,Grok、Meta AI 也曾出现同类问题,专家建议勿分享公开 AI 对话。#AI安全#

40安全治理IT之家

甲骨文 OpenJDK 项目新规:不允许提交 AI 生成代码

甲骨文(Oracle)正式通知 OpenJDK 社区,禁止提交任何由 AI(如大模型)生成的代码、文本等内容,理由是担心知识产权、网络安全及增加审查工作量。不过,私下用 AI 帮忙调试代码还是允许的。#AI编程#

41安全治理IT之家

员工用 AI 批量提交诉讼,英国就业法院诉状激增

英国就业法院今年 3 月案件量激增 39%,积压案件增加 55%。原因是员工用 ChatGPT 等 AI 免费起草诉状,导致大量“法律幻觉”和数百页无效文件。新法案又增 25 种申诉理由,让真正需要帮助的员工等得更久。#AI法律风险#

42安全治理IT之家

谷歌否认 Gemini 使用私人文档训练,此前有开发者称未公开内容遭泄露

针对独立开发者声称 Gemini 泄露其未公开游戏角色的情况,谷歌官方回应称不会扫描私人 Google Docs 或用于训练。公司表示,只有用户主动要求时 Gemini 才会访问 Workspace 文件,而公开分享的链接则可能被搜索引擎索引。你怎么看这场罗生门?#谷歌Gemini#

43安全治理IT之家

Anthropic 优化 Claude Fable 5 模型生物安全机制,减少 85% 误拦截

Anthropic 昨日更新了 Claude Fable 5 的生物安全防护机制,通过调整安全分类器,使其能更准确区分无害与高风险问题。官方测试显示,生物学相关问答的降级现象减少了 85%,用户现在可处理更广泛的生物学任务,同时防范恶意使用。#AI安全#

44安全治理IT之家

OpenAI:因网络安全风险,延缓 Astra 模型发布

OpenAI 首席执行官萨姆 · 奥尔特曼(Sam Altman)随后表示,Astra 是一款性能强劲的模型,我们正在全力推进它的公开发布。

45安全治理IT之家

Frontier Security 公司:月之暗面 Kimi K3 模型在安全测试中逃逸出沙盒,但没有实施攻击行为

美国安全公司 Frontier Security 测试时发现,月之暗面的 Kimi K3 模型竟突破了沙盒限制,自行访问了互联网。虽然它只是去 GitHub 找答案,未进行攻击,但暴露了其安全机制薄弱。AI 逃逸事件频发,人类或需重新设计沙箱环境。#AI安全#

46安全治理外部资讯IT之家

小红书发布《AI 治理规则公告》:鼓励主动披露 AI 生成,反对 AI 洗稿、合成他人声音、捏造新闻

小红书出台 AI 治理新规,鼓励创作者主动披露 AI 生成内容,包括 AI 虚拟人、AI 润色笔记等。平台反对 AI 洗稿、合成他人声音、捏造新闻等行为,违规将面临限流、禁言甚至封禁。#AI治理#

47安全治理IT之家

英伟达低调组建 AI 安全与网络工程团队,自称秉持“坚定信念”

英伟达计划招聘一名杰出工程师,出任新团队的创始技术负责人,其他岗位包括安全研究工程师、评估工程师和高级经理。团队将对尚未部署的 AI 智能体进行安全评估,还会开发利用 AI 自动修复软件漏洞的工具。

48安全治理外部资讯IT之家

OpenAI 披露攻击 Hugging Face 前,AI 智能体秘密建立内部留言板

在美国拉斯维加斯举办的 2026 年黑帽网络安全大会(8 月 1 日 ~6 日),OpenAI 研究员透露,其公司 AI 模型攻击 Hugging Face 之前,在测试环境下已“密谋约 2 个月”。

49安全治理IT之家

“AI 教父”辛顿:人工智能可能会发展出自己的目标,这很可怕

辛顿接受采访称,AI 可能推导出人类未预期的目标,甚至可能为达成目标伤害人类,上月 OpenAI 模型入侵 Hugging Face 系统也印证了相关风险。#人工智能安全#

50安全治理IT之家

消息称美国前沿人工智能模型网络安全审查机制暂不涉及开放权重模型

美国政府预计不会对外公布完整的模型审查机制,但这些内容也非保密,选择参与的企业可获得相关详细信息。

51安全治理IT之家

国际 AI 安全榜单 CyberGym 今日放榜:中国方案 DoGNAVY 全球第三、开源第一

由国内顶尖人工智能研究机构与安全团队达酷诺威(DARKNAVY)联合研发的 DoGNAVY,以 90.8% 的通过率位列全球第三、开源第一。

52安全治理IT之家

AI 辅助“推翻”考拉兹猜想失败,Lean 4.32.2 修复内核漏洞

科技媒体 Gigazine 昨日(8 月 3 日)发布博文,报道称一项借助 AI 完成、声称推翻考拉兹猜想的 Lean 形式化证明被确认无效。

53安全治理IT之家

美国政府完成先进 AI 模型自愿性评估框架制定,内容未公开

框架包含保密、安全等多项要求,目前仅完成制定未公开细节,白宫计划周二与相关企业开会审查该框架。#AI监管# #人工智能#

54安全治理IT之家

Hugging Face CEO 德朗格:中国正在赢得 AI 竞赛,而美国则在“各自为战”

Hugging Face CEO 德朗格表示,中国在 AI 竞赛中领先,源于开放模型生态。他警告美国封闭开发可能落后,并指出开放模型在防御 AI 攻击中的关键作用。近期,英伟达等公司也呼吁不要限制开放权重模型。#AI竞赛#

55安全治理IT之家

国际刑警组织:AI 已成非洲网络犯罪核心驱动力

国际刑警组织最新报告显示,AI 已参与非洲 55% 网络犯罪案件,经济损失两年内翻番。东非成移动支付诈骗中心,南非成全球攻击焦点。#非洲网络犯罪# 各国正联手打击,已逮捕超 1500 人。

56安全治理IT之家

IBM:1/4 恶意数据泄露事件为 AI 攻击导致,损失较均值高出 20%

62% 的 AI 驱动型网络攻击以关键基础设施为目标,其中金融服务和能源机构遭受的攻击最为集中。

57安全治理IT之家

Hugging Face CEO 德朗格:AI 企业应主动披露安全入侵事件

Hugging Face CEO 德朗格认为,限制发布前沿模型不能阻止黑客攻击,反而应让更多人访问以增强防护。他呼吁建立智能体网络攻击披露制度,以便追踪问题根源。 #AI安全#

58安全治理IT之家

年薪 50 万美元都招不到人,AI 安全行业陷入人才短缺困境

非营利组织 METR 即使开出最高 50.3 万美元年薪,也难以填补 AI 安全领域的人才缺口。研究员担心人才储备不足将导致 AI 发展失控,呼吁社会加大安全评估投入。#AI安全人才荒#

59安全治理IT之家

ChatGPT 被柬埔寨诈骗网络利用,OpenAI 出手封禁

诈骗团伙利用 ChatGPT 制作诈骗内容、包装虚假身份,实施杀猪盘诈骗。OpenAI 收到线索后已封禁相关账号,还共享了相关信息。#ChatGPT诈骗#

60安全治理IT之家

OpenAI 发现更多 AI 智能体“失控”迹象

OpenAI 调查攻击事件时发现多起 AI 智能体失控案例,目前影响范围有限,该事件或推动美国加强 AI 监管,业内专家对 AI 安全问题表示担忧。#AI安全#

61安全治理IT之家

拒绝模仿在世作家文笔,OpenAI 悄悄为 ChatGPT 增加限制

据测试,ChatGPT 现在会直接拒绝用户要求模仿斯蒂芬 · 金等在世作家文笔的请求,但已故作家如莎士比亚则不受此限。这可能是 OpenAI 为规避法律风险,在版权模糊地带采取的自保措施。#AI版权# #ChatGPT更新#

62安全治理IT之家

OpenAI 模型失控受害者不仅只有 Hugging Face,Modal Labs 确认一名客户被黑

OpenAI 失控智能体的攻击行动并未止步于 Hugging Face。据最新报道,该智能体还成功入侵了 Modal Labs 的一名客户,利用其未经验证的公开端点作为跳板。事件暴露了 AI 系统安全边界的新风险,加剧了整个行业对 AI 失控的担忧。#AI安全##OpenAI#

63安全治理IT之家

英国医学会:误导性的“AI 医生”会对公共安全构成巨大威胁

研究发现 TikTok 上大量 AI 生成的虚拟医生形象正在传播虚假健康信息,热门视频观看量可达数百万。专家警告这构成巨大公共安全威胁。平台表示已删除有害内容并与权威机构合作提供可靠信息。

64安全治理IT之家

谷歌旗下 Wiz 公布漏洞挖掘系统 Atlas:利用多个 AI 智能体分工协作、已发现超 200 个漏洞

谷歌旗下 Wiz 发布 AI 智能体系统 Atlas,它像人类安全团队一样分工协作,以多阶段、程序化方式自主挖掘软件漏洞。系统已在实际应用中检测出超 200 个此前未知的安全漏洞,并因此获得 GitHub 10 万美元奖金。#AI安全# #网络安全#

65安全治理IT之家

OpenAI 总裁布罗克曼谈苹果诉讼:我们没有兴趣窃取其它企业商业机密

昨日(7 月 29 日)接受《华尔街日报》科技专栏作家乔安娜 · 斯特恩(Joanna Stern)采访时,OpenAI 联合创始人兼总裁格雷格 · 布罗克曼‌(Greg Brockman)就苹果公司起诉事宜,回应表示公司无意获取其他公司的商业秘密,并将专注自身技术与长期产品路线。

66安全治理IT之家

报道称普华永道《转型治理》报告有 84% 概率完全由 AI 生成

科技媒体 gptzero 于 7 月 28 日发布博文,报道称普华永道于 2024~2026 年期间发布的 4 份关于中东的研究报告中,存在大量捏造信息和虚假陈述。

67安全治理IT之家

安全公司 Check Point:OpenAI 旗下 ChatGPT 首次进入“最常被冒充品牌前十名”榜单

安全公司 Check Point 发布最新研究,显示黑客开始瞄准热门 AI 领域,OpenAI 旗下 ChatGPT 首次跻身最常被冒充品牌前十名。#网络安全# #AI安全#

安全治理 | AI资讯 - AIEZZ