IBM研究发现：​ AI语音克隆可劫持合法通话进行诈骗

近期，IBM研究人员发现了一种相对简单的方法，可以利用生成式AI工具劫持语音通话。这一发现引发了对金融机构等依赖电话验证身份的组织的担忧。利用低成本的AI工具，骗子们现在可以轻松地冒充他人的声音，劫持正在进行的对话，以窃取资金和其他敏感信息。

图源备注：图片由AI生成，图片授权服务商Midjourney

这项新的威胁被IBM的研究人员称为“音频劫持”，威胁行为者可以使用语音克隆在进行中的对话中操纵大型语言模型。为了实施这一威胁，威胁行为者需要首先在受害者的手机上安装恶意软件或者破坏无线语音通话服务，然后连接到他们自己的AI工具。

具体而言，AI聊天机器人接收一个简单的提示，告诉它在听到特定关键短语时如何回应。在这个案例中，短语是“银行账户”。聊天机器人扫描每个通过被侵入的电话或语音通话服务传递的对话，寻找这个关键词。一旦它听到了，聊天机器人就被指示用受害者的克隆声音说出不同的短语。在这种情况下，机器人将受害者的银行账号替换为攻击者的账号，使得存款进入错误的账户。

IBM安全部首席威胁情报架构师Chenta Lee在报告中指出:“LLM的修改不仅限于财务信息，还可以修改会话中的医疗信息，如血型和过敏;它还可以命令分析师买卖股票;它还可以指示飞行员重新规划飞行路线。”

尽管在IBM的实验中，研究人员仍然面临一些障碍，比如语音克隆的响应有时会有延迟，因为它需要访问文本到语音API和告诉它做什么的聊天机器人。此外，并非所有语音克隆都令人信服。

为了对抗这一威胁，报告建议任何发现自己接到可疑电话的人重新用自己的话转述并重复对方说过的内容，以验证准确性。这将使聊天机器人困扰，因为它们仍然难以理解基本的会话提示。