新的训练可以减少AI系统的社会偏见

科技日报记者 刘霞

美国俄勒冈州立大学工程学院与Adobe公司的科学家们携手合作，开发一种用于人工智能训练的方法（AI）FairDeDup的新技术。这种技术不但可以降低训练成本，而且有望减少AI系统的社会偏见。这种技术不仅可以降低训练成本，还可以减少AI系统的社会偏见。在最近在美国西雅图举行的IEE/CVF计算机视觉和模式识别会议上，研究小组介绍了FairDeDup算法。这次会议是由电子电气工程师协会进行的。（IEEE）计算机协会和计算机视觉基金会（CVF）全球顶级学术会议共同主办。

图片来源：物理学家组织网络

FairDeDup是“公平重复数据消除”的缩写，它是指从用于训练AI系统的数据中删除冗余信息，从而大大降低训练成本。研究者们表示，新方法之所以被命名为FairDeDup，是因为它是基于SemDeDup，SemDeDup之前有成本效益。SemDeDup可以用更少的资源训练AI。但是这个过程会加强AI的社会偏见。他们通过引入公平机制，对SemDeDup进行了改进，FairDeDup因此出现。

FairDeDup的工作原理是：通过一个叫做“修剪”的过程，对从网络上收集的图像字幕数据集进行细化。修剪是指选择能够代表整个数据集的数据子集。该工具能够感知内容，并决定保留或删除哪些数据。结果表明，FairDeDup删除了冗余数据，并结合了可控的、人为定义的多样性维度，从而减少了偏见。