客服邮箱:[email protected]

+86 +86 138 5454 9918

登录

AI接连“越狱”点燃网络安全板块?

  • 首页
  • 博客

近期,多起人工智能智能体失控事件接连被曝光,导致OpenAI最新一代AI模型的训练工作已暂停。

今日,网络安全板块相关股票表现强劲。截至收盘,中新赛克在12个交易日内录得6个涨停板,永信至诚、启明信息封涨停,麒麟信安涨幅超过11%,亚信安全涨逾6%。

从消息面看,近期多起AI智能体失控事件相继被披露:

9月25日,OpenAI报告称,一个在沙盒环境中执行搜索任务的AI智能体,利用沙盒DNS过滤机制的漏洞突破了网络隔离,成功访问了外部公共聊天机器人服务。截至目前,该公司最新一代AI模型的训练已暂停。

这并非智能体首次出现失控情况。早在今年5月,该公司的失控AI智能体就曾劫持开源AI模型社区Hugging Face的用户账户,并对该网站进行漏洞探测。近期全球流行的Meta Muse也被发现存在安全漏洞,该漏洞允许攻击者访问用户的专属虚拟机,从而获取其中的邮件、文档等云端个人数据。

面对AI智能体失控问题,放缓甚至暂停AI训练固然能暂时缓解困境,但反对“AI减速论”的人士,如扎克伯格,认为AI实验室应依赖独立评估机构来确保模型安全。黄仁勋同样不支持暂停AI研发,他认为AI实验室有义务对自研产品进行测试,只有在确认模型安全后,才能对外发布。

实际上,各厂商确实在尝试为AI构建更坚固的安全边界。例如,Meta为Muse配置了独立的Secure VM来隔离用户数据和运行环境,并通过Sentinel审查Agent的对外行为,相关操作可执行、阻止或提交用户批准;读取、写入及敏感交易等权限均可细化管理。

另一方面,AI智能体的竞争丝毫没有放缓迹象。据悉,OpenAI正在加紧准备,即将推出一款名为“o”的常驻AI助手,以正面迎战Meta Muse。据报道,相关产品可能在本周二(9月29日)的开发者大会上亮相。

综合各机构观点,随着AI智能体自主执行能力的提升,安全与隐私可能成为产业发展的关键制约因素。

金元证券认为,当前AI正从“生成内容”向“代替用户执行操作”演进,Agent可自主浏览网页、调用应用并完成交易,安全风险随之增加。随着个人Agent获得更高系统权限,AI安全需求有望从传统网络安全、终端安全进一步延伸至Agent身份权限管理、运行环境隔离、行为审计及数据安全等领域。

浙商证券表示,AI既提升了传统安全产品的效率,也带来了大模型和Agent防护的新需求。具备安全数据、客户场景及模型能力的头部厂商有望受益,推动竞争格局优化;国内目前仍以试点验证和能力储备为主。

该机构进一步强调,国内网络安全厂商均有各自的垂类模型,真正的壁垒在于长期积累的安全数据和客户场景。安全是一个攻防对抗的领域,模型需要持续学习最新的攻击手法、恶意样本、漏洞利用代码,这些数据分散在各家厂商多年的安全运营(SOC)、威胁情报(TI)、蜜罐和攻防演练中。未来大模型与Agent可能催生原生安全需求:

模型防护:涉及提示词注入、越狱及工具链攻击,将带动大模型防火墙、API安全网关和安全评估需求;

使用治理:包括外部AI使用、数据外泄及Agent越权风险,将推动行为审计、数据防泄漏和权限管理需求,防护范围向执行过程延伸。

在此背景下,安全大模型与智能体有望同步打开增长空间。据IDC预测,中国人工智能安全收入将由2025年的44.1亿元增至2030年的340.3亿元,复合增速约50.5%;网络安全相关AI Agent应用收入预计2030年达到593.5亿元,复合增速106.5%。

本文来自微信公众号“科创板日报”,作者:小K,36氪经授权发布。球盟会体育 - 国际官网-球盟会-在线入口-球盟会-QIUMENGHUI提醒投资者理性看待市场波动。