סרטוני דיפ-פייק הם אחת מהסכנות החמורות ביותר ברשת, מכיוון שכיום כבר קשה מאוד להבחין בין קטע וידיאו מזויף לאמיתי. מי שכעת תורמת לכאוס הזה היא טיקטוק, שפרסמה בטעות לינק לגרסה פנימית לכלי האווטאר הדיגיטלי החדש שלה המבוסס על AI. הדבר מאפשר למשתמשים שהספיקו לנסות אותו ליצור סרטונים שאומרים (כמעט) הכל. הדבר התגלה על ידי רשת CNN, שגרמה לכלי ליצור סרטונים המכילים ציטוטים של היטלר, סרטון של אישה שממליצה לאנשים לשתות אקונומיקה ועוד. טיקטוק הסירה מאז את הגרסה הזו של הכלי, בעוד שהגרסה הנכונה שמיועדת להשקה נשארה זמינה.

הכלי, שנקרא Symphony Digital Avatars, הושק בשבוע שעבר והוא מאפשר לעסקים ליצור מודעות תוך שימוש בדמותם של שחקנים בתשלום שמדקלמים את הטקסטים שלהם בעזרת בינה מלאכותית. למרות שרק משתמשים עם חשבון מנהלי פרסומות יכולים לגשת לכלי הזה, הגרסה ש-CNN מצאה מאפשרת לכל מי שיש לו חשבון אישי לנסות אותה גם כן.

בהצהרה לאתר The Verge, דוברת טיקטוק, לורה פרז, אמרה שהחברה פתרה את "השגיאה הטכנית" ש"אפשרה למספר קטן ביותר של משתמשים ליצור תוכן באמצעות גרסת בדיקה פנימית של הכלי למשך מספר ימים".

כאשר ב-CNN גילו את הכלי הפנימי, נתנו לרשת ליצור סרטונים המדקלמים את "מכתב לאמריקה" של אוסמה בן לאדן, סיסמאות של עליונות לבנה וסרטון שאומר לאנשים להצביע בבחירות ביום הלא נכון. לאף אחד מהסרטונים ש-CNN הפיקה לא היה סימן מוטבע שחושף שהסרטון נוצר אמצעות בינה מלאכותית, וזה משהו שהגרסה המתאימה של ה-Symphony Digital Avatars של טיקטוק כן משתמשת בו כדי להבדיל בין סרטונים אמיתיים לכאלה שאינם כאלה.

CNN לא פרסמה את הסרטונים שיצרה ברשת החברתית הסינית, אבל הדוברת מציינת שאם היו עושים זאת, התוכן "היה נדחה בשל הפרת המדיניות שלנו". חשוב לציין שרשת החדשות כן הצליחה להוריד את אותם סרטונים ולכן גם אם לא יפורסמו בטיקטוק, אין מניעה מהפצתם בפלטפורמות אחרות. למרות שמאז טיקטוק הורידה את הגרסה הזו של הכלי, היא מעלה ספקות האם אנשים ימצאו דרכים אחרות "להתעלל" או לנצל את האווטאר הדיגיטלי - והאם טיקטוק, והרשת בכלל, מוכנות לכך.