זיהוי הפנים, שהולך והופך לאמצעי זיהוי לגיטימי - בין אם זה בסמארטפונים שלנו ובין אם זה במאגרים ממשלתיים - עדיין רחוק מבשלות מלאה. הסיבה לכך אינה דווקא העובדה שרוב מנגנוני זיהוי הפנים הנפוצים ניתנים לפריצה או להטעיה בדרך כזו או אחרת - אלא העובדה שהם פשוט עובדים רק לאנשים מסוגים מאוד מסוימים.
מחקר חדש שפרסמה ג'וי בולמוויני, דוקטורנטית בת 28 ב-MIT, מצביע על מה שנראה כתופעה פסולה: תוכנות בינה מלאכותית לזיהוי פנים נגועות בגזענות.
כדי להוכיח זאת, נאלצה ג'וי לבנות מאגר תמונות פנים משלה - שכן היא מצאה שבמאגרים קיימים אין כמעט ייצוג לבני אנוש שאינם גברים לבנים. לצורך כך היא אספה 1,270 תמונות של חברי פרלמנטים משלוש מדינות צפון-אירופיות (שבדיה, פינלנד ואיסלנד) ומשלוש מדינות אפריקאיות (דרום אפריקה, סנגל ורואנדה) - שבכולן קיים ייצוג מאוזן למדי של גברים ונשים, ויחד הן מהוות מגוון של גברים ונשים בעלי גווני עור שונים.
לאחר בניית המאגר השיוויוני, העבירה אותו ג'וי בשלוש מערכות זיהוי פנים - של מיקרוסופט, יבמ וחברה סינית בשם Megvii. המשימה היתה לזהות בכל תמונה האם המצולם הוא גבר או אישה, בהיר/ה או כהה.
התוצאות היו חד משמעיות: כל שלוש התוכנות זיהו גברים לבנים ברמת דיוק של יותר מ-99% ונשים לבנות ברמת דיוק נמוכה במעט מזה. אך נשים כהות עור זוהו לא נכון יותר מ-20% מהזמן על ידי התוכנה של מיקרוסופט, ויותר מ-30% מהזמן על ידי שתי האחרות.
מיקרוסופט, שחוקרת מטעמה סייעה לג'וי במחקר, אמרה כי היא עובדת ללא הפסקה כדי שהתוכנות שלה לא יכללו אפליה כלשהי; יבמ אמרה בתגובה שבמהלך החודש הנוכחי תוציא עדכון לתוכנה שלה עם שיפור דיוק של פי 10 בזיהוי פנים כהות; החברה הסינית התעלמה מהפניות של החוקרות.
המחקר הזה אינו הראשון של ג'וי בתחום: בתקופת לימודיה באוניברסיטת ג'ורג'יה כבר ערכה מחקר על אפליה בתוכנות, ואף העבירה עליו הרצאת TED לפני כשנה, שצברה כמיליון צפיות:
מאז פעילה ג'וי במאמץ להילחם באפליה שנגרמת מייצוג-היתר של גברים לבנים בתעשיית הטכנולוגיה. היא ייסדה פרויקט העלאת מודעות לנושא וקוראת להטיל על מתכנתים להפוך את תהליך קבלת ההחלטות של תוכנות לשקוף יותר, כך שניתן יהיה לנתח אותו, להבין אותו ולשפר אותו אם הוא בנוי בצורה שאינה שוויונית.