什么是人工智能黑箱?一位计算机科学家解释

作者: Saurabh Bagchi  | 
black box
你无法看到任何不透明箱子的内部,但黑色增添了一丝神秘感。Chingraph/Shutterstock

对一些人来说,术语“黑箱”让他们想起飞机上的记录设备,它们在发生不测时对事后分析非常有价值。对另一些人来说,它让人联想到小型、设备简单的剧院。但在人工智能领域,黑箱也是一个重要的术语。

人工智能黑箱指内部运作对用户不可见的人工智能系统。你可以给它们输入,并获得输出,但你无法检查系统的代码或产生输出的逻辑。

广告

机器学习是人工智能的主要子集。它支持着像 ChatGPT 和 DALL-E2 这样的生成式人工智能系统。机器学习有三个组成部分:一个或一组算法、训练数据和模型。算法是一系列程序。在机器学习中,算法在大量示例(即训练数据)上进行训练后,学习识别模式。一旦机器学习算法完成训练,结果就是机器学习模型。模型是人们实际使用的东西。

例如,一个机器学习算法可以被设计用来识别图像中的模式,训练数据可以是狗的图像。由此产生的机器学习模型将是一个“狗识别器”。你将一张图像作为输入提供给它,并获得输出,显示图像中是否存在以及何处有一组像素代表狗。

机器学习系统的三个组成部分中的任何一个都可以被隐藏,或者说放在一个黑箱中。通常情况下,算法是公开已知的,这使得将其放入黑箱的效果不那么好。因此,为了保护其知识产权,人工智能开发者通常将模型放入黑箱。软件开发者采取的另一种方法是模糊用于训练模型的数据——换句话说,将训练数据放入黑箱。

黑箱的对立面有时被称为“玻璃箱”。人工智能玻璃箱是一个算法、训练数据和模型都对所有人可见的系统。但研究人员有时甚至将这些系统中的某些方面也描述为黑箱。

那是因为研究人员尚未完全理解机器学习算法,特别是深度学习算法是如何运作的。可解释人工智能领域正在致力于开发一些算法,这些算法虽然不一定是玻璃箱,但可以让人类更好地理解。

广告

为什么人工智能黑箱很重要

在许多情况下,我们有充分的理由警惕黑箱机器学习算法和模型。假设一个机器学习模型对你的健康做出了诊断。你希望这个模型是黑箱还是玻璃箱?那么为你开具治疗方案的医生呢?也许她想知道模型是如何得出这个决定的。

如果一个决定你是否符合银行商业贷款资格的机器学习模型拒绝了你呢?你难道不想知道原因吗?如果知道了,你就可以更有效地提出申诉,或者改变你的情况,以增加下次获得贷款的机会。

广告

黑箱对软件系统安全也有重要影响。多年来,计算机领域的许多人认为将软件置于黑箱中可以防止黑客对其进行检查,从而使其安全。这一假设在很大程度上被证明是错误的,因为黑客可以逆向工程软件——即通过密切观察软件的工作方式来构建一个仿制品——并发现可利用的漏洞。

如果软件是玻璃箱,那么软件测试人员和善意的黑客可以检查它,并告知创建者其弱点,从而最大程度地减少网络攻击。

Saurabh Bagchi 是普渡大学电气与计算机工程教授。他从联邦政府、州政府和私营企业等大量来源获得研究资金。

本文转载自 The Conversation,遵循知识共享许可协议。您可以在此处找到原文

广告

广告

加载中...