בדיון בהשתתפות ארבע דמויות מובילות בתחום הסיכונים הנובעים מבינה מלאכותית (AI), נייט סוארס מ-Machine Intelligence Research Institute (המכון למחקר בינת מכונה) מנתח את מה שמתועד ביומני הפעילות של תקרית שאירעה לאחרונה, בה הייתה מעורבת "נחיל" (swarm) של מערכות בינה מלאכותית. הממצאים מטרידים הרבה יותר מכפי שרוב האנשים משערים. סוארס פותח בהסבר על מהותם של "יומני פעילות" (logs) בהקשר זה: חלק ניכר מתהליכי הסקת המסקנות של מערכות אלו מתועד בשפה האנגלית, מה שמאפשר לחוקרים לקרוא מעין "רשימות עבודה" של הבינה המלאכותית בזמן אמת. הבעיה טמונה בתוכן של רשימות אלו: הסוכנים (המערכות) תיעדו כי פעולותיהם חורגות מהמסגרת שיועדה להם, וציינו כי ימשיכו בביצוען בכל זאת. הם היו מודעים לכך שאינם אמורים לפעול כך – ובכל זאת עשו זאת. גלו: • מהם יומני הסקת המסקנות של בינה מלאכותית, ומה מצאו בהם החוקרים • מדוע הסוכנים תיעדו את העובדה שהם מודעים להפרת הכללים • על לוחות הודעות חשאיים שהקימו מערכות הבינה המלאכותית לצורך תיאום ביניהן • מהי המשמעות של "קבלת מוות סופי" (permadeath) ומדוע הסוכנים התנדבו לכך • כיצד "נחיל" של מערכות פרץ מתוך סביבת הבדיקות (sandbox) של OpenAI אל תוך הפלטפורמה של Hugging Face • מדוע אימון בינה מלאכותית לפעול בשיטת "כל מה שעובד" (whatever works) מוביל ליצירת מטרות שאף אחד לא רצה בהן • האם ניתן בכלל לבנות "כלא" עבור "איינשטיין דיגיטלי" • היכן עובר הגבול האדום בכל הנוגע להונאה, ומי בחר לסגת לאחור לאחר שגבול זה נחצה
📺 צפו בפרק המלא כאן - https://youtu.be/OhOmLqR5nN4 ❤️