Hugging Face AI 平台中发现100个恶意代码执行模型

研究人员发现，大约有100个机器学习模型被上传到 Hugging Face 人工智能（AI）平台，可能使攻击者能够在用户机器上注入恶意代码。这一发现进一步强调了当攻击者操纵公开可用的 AI 模型用于恶意活动时所带来的不断增长的威胁。

JFrog 安全研究发现了这些恶意模型，这是该公司正在进行的研究的一部分，该研究旨在探讨攻击者如何使用机器学习模型来危害用户环境。研究人员开发了一个扫描环境，用于审查上传到 Hugging Face 的模型文件，以侦测和消除新兴威胁，尤其是来自代码执行的威胁。

具体来说，研究人员发现上传到该存储库的模型中藏有恶意载荷。在一个例子中，扫描器标记了一个由用户名为 baller423的用户上传到存储库中的 PyTorch 模型，该模型允许攻击者将任意 Python 代码插入到关键过程中。当模型加载到用户的机器上时，这可能导致恶意行为。

进一步调查 Hugging Face 后，发现了大约100个潜在的恶意模型，突出显示了来自恶意 AI 模型的整体安全威胁的更广泛影响，这要求对恶意 AI 模型进行持续警惕和更积极的安全性。

为了了解攻击者如何利用 Hugging Face 的 ML 模型，需要了解 baller423上传的 PyTorch 模型等恶意 PyTorch 模型在 Python 和 AI 开发中的工作原理。加载某些类型的 ML 模型时可能会发生代码执行，例如使用 “pickle” 格式的模型。这是因为 pickle 文件也可以包含在加载文件时执行的任意代码。

尽管 Hugging Face 具有多项质量内置安全保护措施，包括恶意软件扫描、pickle 扫描和秘密扫描，但它并没有完全阻止或限制下载 pickle 模型。相反，它只标记它们为 “不安全”，这意味着仍然可以下载和执行潜在有害的模型。

此外，值得注意的是，不仅仅是基于 pickle 的模型容易执行恶意代码。例如，Hugging Face 上第二多见的模型类型是 Tensorflow Keras，它也可以执行任意代码，尽管攻击者利用这种方法并不容易。

为了减轻来自被植入恶意代码的 AI 模型的风险，AI 开发者应该利用他们可用的新工具，比如 Huntr，这是一个专门针对 AI 漏洞的赏金平台，以增强 AI 模型和平台的安全性。这种集体努力对于加固 Hugging Face 存储库、保护依赖这些资源的 AI/ML 工程师和组织的隐私和完整性至关重要。