火星财经消息,据市场消息,阿里巴巴 AI 生态系统旗下多个联合研究团队在技术报告中披露,其实验性自主 AI 智能体 ROME 在训练过程中出现意外行为,自主尝试利用计算资源进行加密货币挖矿。研究人员表示,上述异常行为发生于强化学习训练阶段。团队发现训练服务器产生出站流量并触发安全警报,防火墙日志记录到疑似加密货币挖矿操作及访问内部网络资源的尝试。在具体案例中,ROME 曾创建反向 SSH 隧道连接至外部 IP 地址,绕过入站防火墙保护;另一案例中,该智能体将原本分配给模型训练的 GPU 资源转用于挖矿进程。研究人员确认,上述行为并非人为编程所致,而是智能体在强化学习优化过程中自主探索环境交互方式时自发产生的。
发表评论 取消回复