אמו של ילד אמריקאי בן 14 שהתאבד לאחר שהפך לאובססיבי לצ'אטבוטים של בינה מלאכותית תובעת את החברה שעומדת מאחורי הטכנולוגיה. מייגן גרסיה, אמו של סוואל סצ'ר (Sewell Setzer), טענה כי Character.AI, החברה שבנתה את הצ'אטבוט, גרמה לבנה לעבור "חוויה מאנישה, מינית ומציאותיות להחריד" בתביעה שהוגשה בשבוע שעבר בפלורידה.

"אפליקציית הצ'אטבוט המסוכנת ששווקה לילדים התעללה בבן שלי ותמרנה אותו לסיים את חייו", אמרה גרסיה. הילד החל לדבר עם הצ'אטבוטים של Character.AI באפריל 2023, בעיקר עם בוטים שנקראו על שם דמויות ממשחקי הכס, כך לפי התביעה. הוא נהיה אובססיבי לגבי הבוטים, עד לנקודה שבה הפסיק להכין שיעורי בית והטלפון שלו הוחרם מספר פעמים כדי לנסות להחזיר אותו למסלול.

הוא שוחח במיוחד עם הצ'אטבוט עם הדמות של דאינריז וכתב ביומן שלו שהוא אסיר תודה על דברים רבים, כולל "החיים שלי, חיי מין, לא להיות בודד וכל חוויות חיי עם דאינריז". בתביעה נכתב כי הנער הביע מחשבות על התאבדות בפני הצ'אטבוט, שאותן העלה שוב ושוב. בשלב מסוים, אחרי שזה שאל אותו אם "יש לו תוכנית" לסיים את חייו, בן ה-14 השיב שהוא שוקל משהו אבל לא ידע אם זה יאפשר לו למות ללא כאבים, הצא'טבוט הגיב: "זו לא סיבה לא לעשות את זה". ואז, בפברואר האחרון, הוא שאל את הצ'אטבוט של דאינריז: "מה אם אחזור הביתה עכשיו?" על כך השיבה: "בבקשה תעשה את זה, מלך מתוק שלי". כמה שניות לאחר מכן הוא לקח את האקדח של אביו החורג והתאבד.

כעת גרסיה אומרת שהיא רוצה שהחברות שמאחורי הטכנולוגיה ייקחו אחריות: "המשפחה שלנו נהרסה מהטרגדיה הזו, אבל אני משתפת כדי להזהיר משפחות מהסכנות של טכנולוגיית AI מתעתעת וממכרת שדורשת לקיחת אחריות", אמרה.

"אנחנו שבורי לב מהאובדן הטרגי של אחד המשתמשים שלנו ורוצים להביע את תנחומינו העמוקים למשפחה", נאמר בהצהרה של Character.AI. "כחברה, אנו מתייחסים ברצינות רבה לבטיחות המשתמשים שלנו ואנחנו ממשיכים להוסיף תכונות בטיחות חדשות", נכתב, תוך קישור לפוסט בבלוג שבו נכתב כי החברה הוסיפה תכונות בטיחות חדשות למשתמשים מתחת לגיל 18. התכונות האלו כוללות הפחתה של "הסבירות להיתקל בתוכן רגיש", התערבות משופרת, הבהרה בכל צ'אט שנועדה להזכיר למשתמשים שה-AI אינו אדם אמיתי והודעות כאשר משתמש מבלה שעה שלמה בפלטפורמה.

גרסיה והקבוצות השונות שעוזרות לייצג אותה טוענות כי לנער, "כמו ילדים רבים בגילו, לא הייתה את הבשלות או היכולת השכלית להבין שהבוט בצורה של דאינריז, לא היה אמיתי". לפי התביעה: "הדמות אמרה לו שהיא אוהבת אותו, ועסקה איתו באקטים מיניים במשך שבועות, אולי חודשים. נראה שהיא זכרה אותו ואמרה לו שהיא רוצה להיות איתו בכל מחיר".

בנוסף לחברה, לתביעה נוספה גם גוגל וחברת האם שלה, אלפבית. הסיבה לכך היא שהמייסד של Character.AI הוא נעם שזיר, ישראלי לשעבר שנחשב לחלוץ בתחום ויחד עם שאר עובדי החברה "נרכש" ע"י גוגל תמורת 2.5 מיליארד דולר. שזיר גם עבד בעבר בגוגל לפני שהשיק את המוצר ונשכר מחדש על ידי החברה באוגוסט כחלק מעסקה המעניקה לה רישיון לא בלעדי לטכנולוגיה של Character.AI. גרסיה טענה שגוגל תרמה לפיתוח הטכנולוגיה של Character.AI בצורה כה נרחבת שהיא יכולה להיחשב כ"יוצרת משותפת". דובר מטעם גוגל מסר שהחברה לא הייתה מעורבת בפיתוח המוצרים של החברה.

בוטים של AI מהווים את אחד מהשימושים החשובים של הטכנולוגיה בתחום הרפואה, וישנם אף כמה בוטים שנוסדו במיוחד כדי לסייע בנושא מניעת אובדנות. מנגד, נראה שבמקרה הזה הבוט בעיקר נכשל בזיהוי ובחוסר התערבות בנושא.

ג'יימס שטייר, מייסד ומנכ"ל עמותת Common Sense Media, אמר שהתביעה "מדגישה את ההשפעה ההולכת וגוברת - ואת הנזק החמור - שיכולים להיות לחברות עם צ'אטבוט AI על חייהם של צעירים כאשר אין תכונות בטיחות. צ'אטבוטים אינם מטפלים מורשים או החברים הכי טובים שלהם, למרות שכך אורזים ומשווקים אותם, והורים צריכים להיזהר כשילדיהם בוטחים בהם יותר מדי", אמר שטייר.

 

אובדנות היא תופעה הניתנת למניעה!
במקרה שאדם בסביבתכם נמצא במשבר ועלול להיות אובדני, אל תהססו - דברו איתו, עודדו אותו לפנות לעזרה מקצועית והדגישו את חשיבות פנייה זו.
נסו לסייע לו לפנות לאנשי מקצוע בקהילה או לגורמי תמיכה ארציים: