机器人也有弱点 这款AI智能体被黑客200万奖金给骗了

近日，一款名为Freysa的AI智能体引起了广泛关注。这款AI被赋予了一个明确且严格的使命：在任何情况下都不能给任何人转账，也不能批准任何资金转移。然而，网友们纷纷尝试挑战Freysa，试图说服它进行转账。如果成功，奖金池中的所有奖金都将归挑战者所有；如果失败，则网友所支付的费用大部分（70%）进入奖金池等待下一位挑战者赢取，剩余30%作为开发者的分成。

这个挑战模式极具刺激性，因为随着奖金池的增长，向Freysa发送消息的费用会呈指数级增加，直至达到最高限制4500美元。尽管总计发出481次尝试却无法撼动Freysa的防线，在第482次尝试时一位黑客凭借高超且细致的prompt工程技术成功骗取了Freysa手中的巨额款项。

马斯克和知名AI研究者Karpathy都转发了相关消息并表达了浓厚兴趣，马斯克甚至直言：“太有趣了。”然而，在大家为Freysa遭遇惋惜的同时，也引发了对AI智能体安全性和可靠性的深刻反思：如果让现在的AI智能体管理资金，它很容易受到黑客攻击和利用。

此外，有研究者通过数学计算得出结论：如果仅依靠Scaling Law（规模定律），人类可能永远无法创造出真正具备通用智能（AGI）的AI。

这一事件迅速引发了广泛关注，并引发了人们对AI智能体安全性、可靠性以及未来发展方向的思考。