Harnessing Artificial Intelligence 2.0 - Bias and Trust in AI

信任与自动化的挑战

引言

• 彼得·丹宁（Peter Denning）介绍了“利用人工智能”课程系列，讨论了人工智能及其应用中的多个主题，特别是信任的问题。

• 他提到在新技术的背景下，我们需要了解这些系统是否值得信赖，以及它们是否能如预期那样工作。

自动化的风险

• 教授乔什·克罗尔（Josh Kroll）回归讨论自动化带来的危险，尤其是在数据可能存在偏见时。

• 克罗尔强调，在谈论自主性和人工智能时，失败是一个重要话题，自驾车事故就是一个例子。

自驾车事故分析

• 自驾车发生碰撞的原因主要是因为现有的自动化技术尚未足够成熟，以确保安全操作。

• 提到了两个不同地点的自驾车事故案例，包括加州和德克萨斯州的特斯拉事故，这些事故显示出AI系统在处理复杂情况时的不足。

自动化偏见

• 讨论了“自动化偏见”的概念，包括两种主要问题：自动化自满和模式混淆。

• 自动化自满指的是用户对系统过度依赖，而忽视潜在风险，例如销售人员声称全自驾能力，但实际上仍然存在危险。

模式混淆与人类干预

• 模式混淆是指系统在不同模式下采取相同动作导致截然不同结果的问题，这在空客飞机事故中表现明显。

系统退出自动模式的影响

飞机事故案例分析

• 在空客坠毁事件中，飞机从自动模式切换到手动控制，导致飞行员在控制表面输入相同指令时，飞机表现出不同的反应。

• 桥梁船员错误地认为已适当处理接触，但实际上只减慢了其中一台螺旋桨，导致船只转向并引发危险。

• 操作员对主舵和副舵是否需要进行纠正输入存在不明确性，这种界面上的模糊性加剧了紧急情况下的混乱。

AI系统中的测量失误

• 这些失败不仅是机器人或车辆中的AI问题，还源于AI系统对世界的错误表示，即测量失败。

• 测量失败可能由于使用不完整或不准确的数据而导致，即使数据完整，也可能因虚假相关性或混淆因素而产生误导。

AI偏见与信任问题

偏见的根本原因

• 对世界的不准确表示通常被称为AI偏见，这在信任讨论中引入了复杂性。

• 偏见并不是唯一的问题，许多情况无法通过简单的重新校准来解决，而是需要关注系统目标及其潜在危害。

危害分类

• 将危害分为三类：分配危害、代表性危害和尊严危害。

分配危害

• 分配某些利益或惩罚时可能造成伤害，例如决定保险福利、贷款额度或求职面试资格等。

代表性危害

• 不同群体在数据中未得到充分代表，可能导致系统对这些群体的误解，包括种族群体和女性等。

尊严危害

• 使用算法做决策时降低个体自主权，使人们难以追索错误决策带来的后果，这是我们常遇到的问题。

机器偏见研究实例

具体案例分析

• ProPublica进行的一项著名研究显示，在佛罗里达州某县，对犯罪再犯预测评分中，黑人被评为高风险的比例是白人的两倍，与实际再犯率无关。

肾脏疾病评分算法的种族偏见

种族与医疗评分

• 在特定的评分算法中，黑人患者在肾脏疾病进展或医疗需求方面的得分普遍低于白人患者，这反映了该算法存在的问题。

代表性伤害的实例

• 最近在推特上出现了一些关于代表性伤害的讨论，涉及两位著名政治家的照片，一位黑人和一位白人。

• 推特系统选择性裁剪照片，仅显示白人政治家，表明其算法对不同种族的偏见。

算法问题与研究

• 推特已停止使用这一裁剪算法，但在最近的DEFCON安全会议上，研究者展示了类似风险，并获得现金奖励。

• 参与者可以利用这些漏洞作为概念验证，以期在未来比赛中获奖，这引发了对图像处理和面部识别系统潜在问题的关注。

尊严与自主权损失

• 斯坦福大学居民因COVID-19疫苗接种优先级不公而抗议，医院评分系统优先考虑高风险老年教职工，而非直接接触感染者的住院医生。

• 抗议导致重新评估疫苗接种优先级，使更多住院医生获得接种机会，说明抗议行动有效。

教育公平与信任问题

• 英国学生因疫情无法参加考试，其成绩由评分系统决定，引发全国范围内的大规模抗议，最终高校几乎无视该年度考试成绩。

信任的定义与偏见的关系

信任的组成部分

• 政府通信总部（GCHQ）对信任的定义强调，信任不仅包括我们认为可能会伤害我们的组件，还包括我们必须依赖的、作为系统不可或缺部分的组件。

信任标签的问题

• 一旦建立了系统的可信度，可以在系统上贴上“可信”标签，这种做法在某些网站上常见，例如名为Trustee的公司。

• 然而，这种方法存在问题，因为任何人都可以在线获取该标志并将其伪装成可信内容，从而误导用户。

偏见与信任之间的关系

• 在人工智能中，我们经常错误地表现世界，这被称为偏见。应更准确地称之为对世界的误表述。

• 统计偏见是一个具体概念，指的是测量中的系统性错误或偏差，与真实值之间存在差距。

测量中的真实值挑战

• 以尺子为例，如果尺子的刻度比标准尺小，那么测量结果就会出现误差，导致所有测量都显得过长。

• 确定真实值是困难的，尤其是在心理测量学中，如信用评分和智力测试等构念需要通过构建有效性和可靠性来处理。

标准化与计量学

• 过去米长是由特定金属杆定义，但温度变化可能影响其长度，现在米长被定义为光在特定时间内传播的距离。

• 在人工智能中，需要关注两种重要类型的偏见：抽样偏见和选择偏见，它们影响AI系统的一般化能力。

抽样与选择偏见

• 抽样偏见指的是某些人或数据更有可能成为样本的一部分，这会损害AI系统的一般化能力。

• 选择偏见则源于非随机的数据选择，例如调查问卷的问题设计可能导致结果失真。

代理变量的问题

• 常常使用方便测量到的数据作为代理，而不是直接测量目标变量，这可能导致意外后果。

图像处理中的偏差问题

图像的颜色与处理

• 讨论了人们对图像处理结果的预期，强调原始图像与经过处理后的图像之间可能存在显著差异。

• 提到了一种AI图像处理系统，它通过训练于旧照片来将黑白图像上色，但这些旧照片的颜色已经褪色。

• 指出，AI系统学习到的颜色是褪色后的颜色，而非真实、鲜艳的颜色，这反映了采样偏差的问题。

选择偏差案例分析

• 引入了二战期间英国轰炸机装甲选择的经典案例，说明如何在有限预算下进行有效决策。

• 统计学家根据飞机被击中位置的数据来决定装甲放置的位置，但假设子弹击中位置是随机的，这导致了错误结论。

• 强调了飞机被击中的地方并不适合加装装甲，因为那些未能返回的飞机显示出更严重的损伤，这是选择偏差的问题。

偏见与数据收集

• 讨论了盲目消除偏见的方法并不总是有效，例如从数据中去除种族或性别信息并不能完全消除相关性。

• 举例说明Pinterest用户群体中女性占比59%，这表明即使没有直接使用性别信息，也可以推测出某些趋势。

敏感属性的重要性

• 在AI应用中，涉及多种属性的信息时，有时需要敏感属性（如种族和性别）以做出更好的决策。

• 法律限制可能阻碍收集这些敏感信息，但在医疗等领域了解不同群体对药物反应的差异至关重要。

稀有现象中的偏见问题

系统无法概括的原因是什么？

稀有癌症测试的准确性

• 在讨论稀有癌症时，提到这种癌症影响每百万个人中的一个，因此开发了一种99.9%准确率的测试。

• 如果假设该测试完全无效，总是显示健康，那么在一百万人的测试中，只有一个人实际上患病，这样会导致误解。

• 由于大多数人都没有癌症，尽管测试结果显示99.9999%的准确性，但实际上并未提供任何关于疾病的信息。

• 这个测试虽然在统计上看似非常好，但实际上是个糟糕的测试，因为它永远不会检测出实际存在的癌症。

数据分析中的虚假相关性

• 提到1999年至2009年间，美国拼写比赛获胜单词字母数与被毒蜘蛛杀死的人数之间存在高度相关性。

• 科学通常使用统计检验来确认数据中发现的关系是否偶然，而这两个变量之间的关系几乎可以排除偶然性（仅2%的概率）。

• 尽管如此，这种相关性显然是偶然产生的，我们不相信这种相关性会持续下去。

难以区分真实和虚假的关系

• 数据分析的目标是揭示数据中的真实关系，但也可能出现毫无意义、纯属偶然的关系，这使得分析变得复杂且危险。

• 为了识别真实与虚假的关系，需要对这些关系如何在现实世界中存在提出假设。

外部因素导致的数据关系

• 举例说明，在中世纪，人们认为发烧会导致虱子，因为发烧使身体更温暖，从而吸引虱子。现代医学则通过细菌理论解释了这一现象。

• 另一个例子是在美国对泰诺（acetaminophen）的早期试验中，发现服用药物的人常因发烧而咳嗽，实际上是发烧引起了两者。

概念漂移及其影响

• 数据中的关系可能随时间变化，这种现象称为概念漂移。例如，如果建立社交媒体帖子点赞数预测模型，其有效性可能随着时间推移而降低。

面部识别技术与政治倾向的关系

研究背景与方法论

• 斯坦福大学的心理学家Kaczynski教授在《科学报告》期刊上发表了一项关于面部识别技术能够检测人们政治倾向的研究。

• 该研究揭示了数据中的虚假相关性，表明如果进行更严谨的实验设计，这种关联可能会崩溃。

数据来源与影响因素

• 数据来自于约会网站，用户在照片中展示自己以吸引具有相似兴趣和观点的人。

• 用户可能无意识地通过照片传达特定信息，从而使得收集的数据能够捕捉到这种相关反应。

实验设计的局限性

• 提出可以通过标准化照片（如官方肖像）来验证这种关系是否依然存在，但作者可能会拒绝进行此类测试。

• 对于去偏见数据的讨论，强调仅仅改变数据并不能真实反映世界。

偏见与公平性的定义

• 在数据分析和机器学习中，需要明确什么是“公平”，并根据这一标准调整数据，但这可能导致对现实世界的不准确描述。

• 理解偏见后，可以采取措施应对，例如关注招聘中的性别或种族比例问题，而不是简单掩盖结果。

人类认知偏差及其影响

Ebbinghaus错觉与锚定效应

• 介绍Ebbinghaus错觉，通过比较两个橙色圆圈大小的问题，说明人类如何受到锚定效应影响。

• 大脑将右侧圆圈视为更大，因为它旁边有小蓝圈，而左侧圆圈则旁边有大蓝圈。

人机协作中的偏差问题

• 强调即使在完全基于数据驱动的系统（如自动驾驶汽车）中，人类认知偏差仍然不可忽视。

少数群体和女性在晋升中的挑战

晋升障碍的探讨

• 在O4级别中，少数群体和女性的比例低于O3级别，需探讨这些人去向何处。

• 可能原因包括未能晋升、退休、未续约或被分配到不良岗位导致评分较低。

医疗服务中的偏见问题

• 国防部（DoD）是全球医疗服务的重要提供者，尤其是在紧急情况下。

• 理解偏见和团队合作问题在医疗活动中的影响至关重要。

人工智能与采购中的偏见

• 人们讨论在采购中使用人工智能时，如何可能出现偏见。

• 例如，在应急情况下物资分配不当，可能因对风险的误判而导致资源配置失衡。

政策融合与人工智能应用

• 使用人工智能来决定适用政策，但现有指令过多，难以全面理解。

• 提出建立搜索引擎，以帮助识别适用政策，但工具可能无法理解具体情况的细微差异。

道德原则与责任感

• 国防部采纳了五项人工智能伦理原则：负责任、公平、可追溯、可靠和可治理。

• 偏见问题不仅是公平性的问题，更是治理的问题，需要将系统与人类决策有效结合。

人机协作的复杂性

• 漫画展示了技术使用中的道德困境，例如深度学习算法的使用及其后果。

• 理解系统责任感及信任关系需要将人机协作理念融合起来。

教学机会与进一步交流