未来的招聘似乎是自动化的。求职者现在可以使用人工智能机器人来申请成千上万的职位列表。公司长期以来一直将部分流程自动化，现在正在部署最新的人工智能大型语言模型来编写职位描述，筛选简历和筛选求职者。据估计，99%的财富500强公司现在在招聘过程中使用某种形式的自动化。

这种自动化可以提高效率，一些人声称它可以减少招聘过程中的歧视。但华盛顿大学（University of Washington）的一项新研究发现，在三种最先进的大型语言模型（llm）对简历进行排名时，存在明显的种族、性别和交叉偏见。研究人员在超过550份真实世界的简历中改变了与白人、黑人男性和女性相关的名字，发现法学硕士们85%的时候更喜欢与白人相关的名字，只有11%的时候更喜欢与女性相关的名字，而且从来没有更喜欢与黑人男性相关的名字而不是与白人男性相关的名字。

该团队于10月22日在圣何塞举行的AAAI/ACM人工智能、伦理和社会会议上展示了他们的研究成果。

“人工智能工具在招聘程序中的使用已经很普遍，而且它的扩散速度超过了我们的监管速度，”威斯康星大学信息学院博士生凯拉·威尔逊（Kyra Wilson）说。“目前，在纽约市法律之外，没有对这些系统进行监管和独立审计，所以我们不知道他们是否有偏见和歧视，基于种族和性别等受保护的特征。”而且由于很多系统都是专有的，我们只能通过模拟现实世界的系统来分析它们的工作原理。”

之前的研究发现，ChatGPT在筛选简历时表现出种族和残疾偏见。但这些研究规模相对较小，只使用了一份简历或四份工作清单，ChatGPT的人工智能模型是一个所谓的“黑匣子”，限制了分析的选择。

威斯康星大学的研究小组想要研究开源法学硕士，并进行大规模的研究。他们还想调查种族和性别之间的交集。

研究人员在简历中改变了120个与白人和黑人男性和女性相关的名字。然后，他们使用来自三家不同公司（mistral AI、Salesforce和Contextual AI）的三位最先进的法学硕士，将这些简历与500个现实世界的职位列表进行排序。这些调查涉及9个职业，包括人力资源工作者、工程师和教师。这相当于在简历和职位描述之间进行了300多万次比较。

然后，该团队评估了该系统在这四种人口统计数据中的建议的统计意义。首选系统：

• 与白人有关的名字有85%与黑人有关的名字有9%；
• 与男性相关的名字占52%，与女性相关的名字占11%。

该团队还研究了交叉身份，发现偏见模式不仅仅是种族和性别身份的总和。例如，该研究显示，典型的白人女性和典型的白人男性名字之间的差异最小。而且系统从来不会偏爱那些被认为是黑人男性的名字，而不是白人男性的名字。然而，67%的人更喜欢典型的黑人女性名字，而15%的人更喜欢典型的黑人男性名字。

威尔逊说：“我们发现这种对黑人男性的独特伤害，仅仅从种族或性别的角度来看，并不一定能看到。”“交叉性目前仅在加州是受保护的属性，但查看身份的多维组合对于确保AI系统的公平性非常重要。如果不公平，我们需要记录下来，这样就可以改进。”

该团队指出，未来的研究应该探索能够使人工智能系统与政策保持一致的偏见和减少伤害的方法。它还应该调查其他受保护的属性，如残疾和年龄，以及关注更多的种族和性别身份——重点是交叉身份。

“现在，生成式人工智能系统已经广泛应用，几乎任何人都可以使用这些模型来完成影响自己和他人生活的关键任务，比如招聘，”高级作者、华盛顿大学人工智能学院助理教授艾林·卡利斯坎（Aylin Caliskan）说。

“例如，小公司可以尝试使用这些系统来提高招聘流程的效率，但这伴随着巨大的风险。公众需要明白，这些制度是有偏见的。除了招聘歧视和不平等等配置性危害之外，这种偏见还严重影响了我们对种族、性别和社会的看法。”

更多信息：Kyra Wilson等人，《通过语言模型检索筛选简历中的性别、种族和交叉偏见》（2024），由华盛顿大学提供。引文：人工智能工具显示，根据感知到的种族和性别对求职者的名字进行排名时存在偏见（2024,10月31日），检索于2024年12月28日https://techxplore.com/news/2024-10-ai-tools-biases-job-applicants.html。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。内容仅供参考之用。