计算机视觉系统已经无处不在。它们被用于对社交媒体上的图像进行分类和标记，检测图片和视频中的物体和人脸，并标注出图像中的相关元素。
然而，它们充满了偏见，当图像中包含黑人或棕色人种和女性时，它们就不那么准确了。还有另一个问题，目前研究人员在这些系统中发现偏见的方法本身就是有偏见的，他们将人类分为各种各样的类别，却没有恰当地体现出不同类别的人类之间的复杂性。
索尼和 Meta 的研究人员撰写了两篇新论文，提出了在计算机视觉系统中测量偏见的新方法，以便更充分地捕捉人类丰富的多样性。这两篇论文都将在 2023 年 10 月的计算机视觉会议 ICCV 上发表。
开发人员可以使用这些工具来检查数据集的多样性，帮助为人工智能提供更好、更多样化的训练数据。这些工具还可以用来衡量生成式人工智能生成的人类图像的多样性。
一般来说，计算机视觉系统中的肤色偏见是用菲茨帕特里克量表来测量的，这张表包含了一种人类肤色的分类模式，从浅色到深色。
索尼人工智能伦理研究员 William Thong 表示，该量表最初是为了衡量白皮肤晒黑程度而开发的，但后来被广泛用作确定种族的工具。通过比较人工智能模型对浅色皮肤和深色皮肤的人的准确率，它可以被用来衡量计算机系统的偏见。
但索尼人工智能伦理全球主管 Alice Xiang 表示，用一维尺度描述人的肤色是一种误导。通过基于这种粗略的尺度将人们分类，研究人员忽视了一些偏见，例如亚洲人种，其肤色可以分为浅和深两类，他们在西方人工智能数据集中的代表性不足。
而且它也没有考虑到人的肤色会改变的事实。例如，研究人员指出，随着年龄的增长，亚洲人的皮肤会变得更黑、更黄，而白人的皮肤会变得更黑、更红。
Thong 和 Xiang 的团队与《麻省理工科技评论》独家分享了他们开发的工具，该工具将肤色尺度扩展到两个维度，测量皮肤颜色（从浅色到深色）和皮肤色调（从红色到黄色）。索尼将在网上免费提供这个工具。
Thong 说，他的灵感来自巴西艺术家安吉里拉·达斯（Angélica Dass），他的作品表明，来自相似背景的人可以有各种各样的肤色。但尝试表现出所有肤色并不是一个新奇的想法。化妆品行业多年来一直在使用同样的方法。
“对于任何挑选过粉底色的人来说，重要的不仅仅是一个人的肤色是浅色还是深色，还包括暖色调还是冷色调，”Xiang 说。
美国莱斯大学研究计算机视觉模型偏见的助理教授古哈?巴拉克里希南（Guha Balakrishnan）表示，索尼在肤色方面的工作“让人们了解到了一直被忽视的部分。”
目前，研究人员还没有一种标准的方法来衡量计算机视觉中的偏见，这使得多个系统之间的比较变得更加困难。
为了使偏见评估更加简化，Meta 开发了一种新的方法来衡量计算机视觉模型中的公平性，被称为计算机视觉评估公平性（FACET，Fairness in Computer Vision Evaluation），可用于一系列常见任务，比如分类、检测和分割。
Meta 的人工智能研究员劳拉·古斯塔夫森（Laura Gustafson）表示，FACET 是第一个包含许多不同计算机视觉任务的公平性评估，它比其他偏见评估工具包含了更广泛的公平性指标。
为了创建 FACET, Meta 将 3.2 万张人类图像的免费数据集收集在一起，并聘请了来自世界各地的注释者来标记它们。注释者被要求用 13 种不同的视觉属性来标记这些图像，比如他们的感知年龄、肤色、性别代表、头发颜色和质地等等。
Meta 还要求注释者根据人们正在做的事情或他们的职业给他们贴上标签，比如理发师、滑板运动员、学生、音乐家或体操运动员。研究人员说，这增加了偏见评估的细微差别和准确性。
然后 Meta 使用 FACET 来评估最先进的视觉模型在不同人群中的表现，调查结果显示了巨大的差异。例如，模型更善于识别肤色较浅的人，即使他们有脏辫或卷曲的头发。
美国普林斯顿大学研究计算机视觉模型偏见的博士研究员安吉丽娜·王（Angelina Wang）说，因为世界各地的人们在评估他人的图像时都带有自己的偏见，Meta 招募不同国家的注释者的努力是积极的。
Meta 在网上免费提供数据的事实也将帮助研究人员。注释数据非常昂贵，所以只有大型科技公司才能大规模使用。“这是一个很受欢迎的补充数据，”巴拉克里希南说。
但是王警告说，一种明智的做法是，现实地看待这些系统可能产生的影响。它们可能只会导致人工智能领域的小改进，而不是大规模转型。
她说：“我认为，我们离真正掌握让人类能够代表自己的东西还很遥远，而且可能永远也做不到这一点。”
作者简介：梅丽莎·海基莱（Melissa Heikkil?）是《麻省理工科技评论》的资深记者，她着重报道人工智能及其如何改变我们的社会。此前，她曾在 POLITICO 撰写有关人工智能政策和政治的文章。她还曾在《经济学人》工作，并曾担任新闻主播。
支持：Ren
