人工智能与刑事司法：风险评估工具的挑战与争议

如今，人工智能无处不在，包括在刑事司法系统中。但上周五发布的一份新报告加入了警告软件尚未准备好执行这项任务的声音。

“当你部署这些工具时，你需要明白它们是非常近似的，非常不准确的，”人工智能合作组织（由硅谷重量级人物和公民自由团体组成的联盟，帮助发布了这份报告）的研究主任彼得·埃克斯利说道。“而且，如果你把它们想象成《少数派报告》，你就完全错了，”他补充道，指的是 2002 年的史蒂文·斯皮尔伯格科幻大片，这部电影已成为所有对预测性警务的影射的简称。

[youtube

这项研究——“美国刑事司法系统中的算法风险评估工具”——详细审查了人工智能在该国的使用情况日益增加的情况。

算法软件会分析关于个人的数据，以及关于该人所属群体的统计数据。这个人的教育程度有多高？这个人 18 岁之前犯了多少次刑事犯罪？例如，对于从未完成高中学业并且在 18 岁之前犯过两次罪行的人，他们跳过保释的可能性有多大？

这看起来似乎软件绕过了在评估这种风险时的人为错误。但报告关注的是机器学习偏差的问题：当人类将有偏见或不准确的信息输入到软件程序中时，也会使这些系统产生偏差。

一个例子（报告中未提及）：斯坦福开放警务项目最近报告称，全国范围内的执法人员倾向于以高于白人司机的比率拦截非裔美国人司机，并在交通拦截期间比白人更频繁地搜查、开罚单和逮捕非裔美国人和拉丁裔司机。

斯坦福大学的研究人员指出，任何包含此类交通拦截数据集的评估软件都可能因此提供种族偏见的建议，即使该软件本身不包含种族数据。

“需要为这些工具设定标准，”埃克斯利说。“而且，如果你曾经试图用它们来决定拘留某人，这些工具就需要达到这些标准。不幸的是，目前没有任何工具做到这一点。”

目前，加利福尼亚州 58 个县中的 49 个使用某种算法风险评估工具来进行保释、量刑和/或缓刑。州议会的一项新法案将要求所有县在保释中使用它。

参议院第 10 号法案未就县应该如何计算风险水平或防止无意中的歧视性结果提供指导。加州法院的决策机构司法委员会将在法律生效时批准这些工具，但不会进行结果评估。

有许多风险评估工具，其中大多数没有使用人工智能，而是使用纸、笔和专业人士的判断。纳帕县首席缓刑官玛丽·巴特勒说，她的机构使用三种风险评估工具，目的是向主审法官提供建议，但她说他们也决定如何最好地帮助相关个人在监狱外建立生活。

“需求部分与风险部分一样重要，因为它有助于改变他们的行为，”她说。“例如，我无法改变某人首次被捕的年龄，但如果我只考虑这一点，那么是的，我可能会产生偏见。但当我将它与那个人生活中发生的所有其他事情以及他们的需求领域联系起来时，它确实是一个很好的工具。”

她补充说，她的机构进行的评估会与所有相关人员共享。“我们向罪犯提供结果，”她说。“我们将这些信息提供给法庭。律师们也掌握了这些信息。”

少数加州执法机构也正在使用人工智能。两种更受欢迎的产品是惩教罪犯管理备选制裁（COMPAS）和公共安全评估（PSA）。COMPAS 已被加州惩教与康复部使用。PSA 正在旧金山、圣克鲁斯和图莱里县使用。

但其中一些程序，如 COMPAS，是专有产品，这意味着其所有者不会共享源代码以保护其知识产权。这样做可以阻止被告质疑这些模型的完整性。

这也阻止了独立研究人员能够研究和识别程序中的缺陷，并阻止立法者知道他们应该推动什么样的改进。

像人工智能合作组织一样，电子前沿基金会也出于这个原因公开表达了对新保释法 SB 10 推出的怀疑。在它网站上的一篇评论文章中，EFF 争辩说：“公众必须能够访问源代码以及用于开发这些工具的材料，以及对该系统进行定期独立审计的结果，以确保这些工具不会不公平地拘留无辜的人或不成比例地影响特定人群。”

然而，本周在州参议院获得通过的另一项法案可能会让许多人安心。SB 36 将建立有关使用风险评估工具的准则，包括数据收集、透明度要求和定期审查和验证。

该法案目前的写法将阻止任何阻止访问其源代码的风险评估软件工具。该法案接下来将提交给州议会。