数据治理能解决AI疲劳问题吗？

数据治理

长期以来，它一直是数据行业的核心焦点。

Google说得很好——“数据治理是你为确保数据安全、私有、准确、可用和可用所做的一切，它涉及制定适用于如何收集、存储、处理和处置数据的内部标准——数据政策。”

正如这一定义所强调的那样，数据治理是关于管理数据——准确地说，是驱动AI模型的引擎。

既然数据治理和AI之间的联系的初步迹象已经开始显现，让我们将其与AI疲劳联系起来。尽管这个名字暴露了它，但强调导致这种疲惫的原因确保了这个术语在整个帖子中的一致使用。

AI疲劳

由于公司、开发人员或团队面临的挫折和挑战，AI疲劳开始出现，经常导致AI系统的价值实现或实施失败。

它主要始于对AI能力的不切实际的期望。对于AI等复杂技术，关键利益攸关方不仅需要与AI的能力和可能性保持一致，还需要与其局限性和风险保持一致。

谈到风险，道德通常被认为是事后的想法，导致放弃不符合规定的AI倡议。

你一定想知道数据治理在导致AI疲劳方面的作用——这是本文的前提。

这就是我们接下来要去的地方。

AI疲劳大致可分为部署前和部署后。让我们首先关注部署前的工作。

部署前

将概念验证(PoC)升级到部署的因素有很多，例如：

• 我们在努力解决什么问题?
• 为什么现在就确定优先顺序会成为一个紧迫的问题?
• 有哪些数据可用?
• 它首先是ML——可解的吗?
• 数据有规律吗?
• 这种现象可以重演吗?
• 哪些额外数据会提升模型的性能?

一旦我们评估了使用ML算法可以最好地解决问题，数据科学团队就会执行探索性的数据分析。在这个阶段揭示了许多底层数据模式，突出了给定数据是否包含丰富的信号，它还有助于创建工程特征，以加快算法的学习过程。

接下来，团队构建第一个基线模型，通常会发现它的性能没有达到可接受的水平。一款输出像掷硬币一样好的车型不会增加任何价值，这是构建ML模型时的首批挫折之一，也就是经验教训。

公司可能会从一个业务问题转移到另一个业务问题，从而导致疲劳。尽管如此，如果底层数据没有携带丰富的信号，任何AI算法都无法建立在它的基础上，该模型必须从训练数据中学习统计关联，以对看不见的数据进行概括。

部署后

尽管经过训练的模型在验证集上显示了有希望的结果，但根据合格的业务标准，例如70%的精度，如果模型在生产环境中不能充分发挥作用，仍然可能会出现疲劳。

这种类型的AI疲劳被称为部署后阶段。

无数原因可能会导致性能下降，而糟糕的数据质量是困扰该模型的最常见问题，它限制了模型在缺少关键属性的情况下准确预测目标反应的能力。

考虑在训练数据中只有10%缺失的基本特征之一，现在生产数据中50%的时间变为空，从而导致错误预测，这样的迭代和确保模型一致执行的努力会让数据科学家和业务团队感到疲惫，从而削弱人们对数据管道的信心，并使项目投资面临风险。

数据治理是关键

稳健的数据治理措施对于解决这两种类型的AI疲劳至关重要。鉴于数据是ML模型的核心，信号丰富、无错误和高质量的数据是ML项目成功的必要条件。解决AI疲劳问题需要高度关注数据治理。因此，我们必须严格工作，确保正确的数据质量，为构建最先进的模型和提供值得信赖的业务见解奠定基础。

数据质量

数据质量是蓬勃发展的数据治理的关键，也是机器学习算法成功的关键因素。公司必须在数据质量方面进行投资，例如向数据消费者发布报告。在数据科学项目中，想想当质量不佳的数据进入模型时会发生什么，这可能会导致性能不佳。

只有在错误分析期间，团队才能识别数据质量问题，当这些问题被发送到上游修复时，最终会导致团队之间的疲劳。

显然，这不仅仅是花费的努力，而且在正确的数据开始输入之前，还会损失大量的时间。

因此，始终建议从源头修复数据问题，以防止此类耗时的迭代。最终，发布的数据质量报告暗示数据科学团队(或任何其他下游用户和数据消费者)了解传入数据的可接受质量。

如果没有数据质量和治理措施，数据科学家将因数据问题而不堪重负，从而导致导致AI疲劳的不成功模型。

结束语

这篇文章强调了AI疲劳开始的两个阶段，并介绍了数据质量报告等数据治理措施如何能够推动构建值得信赖和健壮的模型。

通过数据治理建立坚实的基础，公司可以构建成功和无缝的AI开发和采用的路线图，灌输热情。

为了确保这篇文章全面概述了应对AI疲劳的各种方法，我还强调了组织文化的作用，组织文化与数据治理等其他最佳实践相结合，将使数据科学团队能够更快、更快地建立有意义的AI贡献。