AGI ובינת-על: האזהרה של רומן ימפולסקי מפני עתיד ללא שליטה
אנחנו מנסים לבנות אינטליגנציה שתוכל לפתור בעיות שמעבר ליכולת האנושית. רומן ימפולסקי מזהיר שאותה עליונות תמנע מאיתנו להישאר בשליטה. בספרו ״AI: Unexplainable, Unpredictable, Uncontrollable״ הוא מציג את הבעיה בשלושה חלקים: מערכות שלא נוכל להבין במלואן, החלטות שלא נוכל לחזות ושליטה שלא נוכל להבטיח לאורך זמן.
ב-15 באוקטובר 2026 דיווחה רויטרס כי ארצות הברית פועלת לקדם את השימוש במונח ״סופר אינטליגנציה״ במקום ״בינה מלאכותית״ גם בזירה הבינלאומית. לפי הדיווח ברויטרס, המהלך הגיע גם למשא ומתן על נוסח הודעה של ועדת ההיגוי של קרן המטבע הבינלאומית.
שינוי המונח אינו מעיד שהגענו לבינת-על. אבל מאחורי הדיון על השם נמצאת אפשרות שדורשת הרבה יותר מהיכרות עם כלי חדש: יצירת אינטליגנציה שתעלה עלינו ביכולת לחשוב, לתכנן ולפתור בעיות.
אנחנו רגילים להיות אלה שמפתחים את הטכנולוגיה ומחליטים כיצד להשתמש בה. לפי חוקר בטיחות הבינה המלאכותית רומן ימפולסקי, ההנחה הזאת נשברת כשמנסים ליצור מערכת שחכמה מאיתנו.
מ-AI ל-AGI: מה בדיוק אנחנו מנסים לבנות
בינה מלאכותית, AI, היא שם רחב למערכות שמבצעות משימות הדורשות בדרך כלל יכולות אנושיות. מערכת יכולה להיות טובה מאדם במשימה מסוימת בלי להבין או לבצע מגוון רחב של משימות אחרות.
AGI, ראשי תיבות של Artificial General Intelligence, מתארת בינה מלאכותית כללית: מערכת שמסוגלת להשתוות לבני אדם או לעלות עליהם במגוון רחב מאוד של משימות קוגניטיביות.
בינת-על, המכונה גם ASI, מתארת שלב שבו מערכת עולה באופן משמעותי על היכולות האנושיות בתחומים רבים. היא עשויה למצוא פתרונות, לפתח רעיונות ולבנות אסטרטגיות שגם אנשים מוכשרים במיוחד לא היו מצליחים לגבש.
ההבחנה חשובה, משום שהטענה על אינטליגנציה שחכמה מאיתנו וקשה לצפות את פעולותיה נוגעת באופן הישיר ביותר לבינת-על. הגעה ליכולת ברמת אדם והגעה ליכולת העולה על האנושות אינן אותו הישג.
ימפולסקי: לא נוכל לשלוט לצמיתות במשהו שחכם מאיתנו
רומן ימפולסקי, Roman Yampolskiy, הוא חוקר מדעי המחשב באוניברסיטת לואיוויל, העוסק בבטיחות בינה מלאכותית ובמגבלות היכולת להבין ולשלוט במערכות מתקדמות.
עמדתו חדה: בני אדם אינם יכולים לשמור על שליטה מלאה וקבועה בבינת-על שחכמה מהם.
בפרסום הרשמי של הוצאת Taylor & Francis לרגל ספרו, ימפולסקי מסביר שלשיטתו תכנון שיבטיח שליטה כזאת כלל אינו אפשרי. מבחינתו, הפער אינו מסתכם בפתרון בטיחות שעדיין חסר לנו; הוא נובע מהניסיון של גורם פחות אינטליגנטי לשלוט לצמיתות בגורם אינטליגנטי ממנו.
אפשר להצליח להגביל מערכת מסוימת, לפקח עליה בתקופה מסוימת ולתקן כשלים שמתגלים. אבל ימפולסקי טוען שהצלחות כאלה אינן מבטיחות שהשליטה תישמר כאשר היכולות ימשיכו להתפתח והפער הקוגניטיבי יגדל. גם בשיחתו עם לקס פרידמן הוא מבחין במפורש בין היכולת להתמודד לזמן מה לבין האפשרות לעשות זאת ללא הגבלת זמן.
זו התזה שמתוכה צריך להבין את האזהרה שלו: ייתכן שנדע ליצור מערכת עוצמתית הרבה לפני שתהיה לנו הצדקה להניח שנוכל להישאר אלה שקובעים את גבולות פעולתה.
הספר שמרכז את הבעיה: הסבר, חיזוי ושליטה
בספרו AI: Unexplainable, Unpredictable, Uncontrollable, שיצא בשנת 2024 בהוצאת Chapman & Hall/CRC, ימפולסקי בוחן את המגבלות האלה דרך שאלות של הסבר, הבנה, אימות ושליטה. לצד הדיון הטכני, הספר עוסק גם בהשלכות האפשריות על החברה ועל מקומם של בני האדם.
שלושת המושגים שבכותרת מתארים בעיות הקשורות זו לזו:
- Unexplainable – מגבלות ההסבר וההבנה. חלק מהחלטותיה של מערכת מתקדמת עשויות שלא להיות ניתנות להסבר מדויק. גם כאשר קיים הסבר, הוא עלול להיות מעבר ליכולת האנושית להבין אותו. ימפולסקי מבחין במחקרו בין הקושי להסביר החלטה לבין הקושי של האדם להבין את ההסבר.
- Unpredictable – מגבלות החיזוי. ידיעת המטרה של המערכת אינה מבטיחה שנדע לחזות את הדרך שבה תפעל להשגתה. מערכת חזקה יותר עשויה למצוא דרכים שלא העלינו בדעתנו.
- Uncontrollable – מגבלות השליטה. לשיטתו, פערים בהבנה ובחיזוי מצטרפים לבעיה העמוקה של שמירת סמכות אנושית על מערכת שעולה עלינו ביכולותיה. במאמרו על שליטה ב-AI מתקדם הוא מציג טיעונים נגד האפשרות של שליטה מלאה.
המשמעות מטרידה גם בלי לדמיין מכונה תוקפנית. אנחנו עשויים להסתמך על החלטות שלא נוכל לבדוק באופן עצמאי, ובהדרגה להעביר סמכות למערכת משום שהתוצאות שלה נראות טובות משלנו.
ההרצאה ב-Future Day 2026: קודם להוכיח שאפשר לשלוט
בהרצאתו ב-Future Day 2026, הנושאת את שם הספר, ימפולסקי מחבר את הדיון למגבלות יסוד של מדעי המחשב.
לפי תיאור ההרצאה באתר המארגן, הוא משתמש בין היתר בבעיית העצירה ובמשפט רייס במסגרת טיעוניו על גבולות האימות והבטיחות. הוא מציג את הקושי להעניק ערבויות כלליות למערכות שיכולות ללמוד התנהגויות חדשות ולפעול במצבים שלא נצפו מראש.
הדרישה שלו היא להראות שבעיית השליטה ניתנת לפתרון לפני שמתקדמים לעבר מערכות בעלות השפעה עצומה. באותה הרצאה הוא מציע להעדיף מערכות AI ייעודיות, שיכולות לסייע בפתרון בעיות מוגדרות, על פני המרוץ לבינת-על כללית.
מנקודת המבט הזאת, כל הצלחה טכנולוגית מעלה גם שאלה על המחיר: אילו יכולות אנחנו מוסיפים, ואילו אפשרויות לפיקוח אנחנו עלולים לאבד?
כמו להכניס חייזר לעולם שלנו
אפשר לחשוב על בינת-על כמו על אינטליגנציה חייזרית שמגיעה לכדור הארץ. היא עשויה להבין את המציאות בדרכים שאיננו מכירים, למצוא קשרים שאיננו רואים ולפעול מתוך שיקולים שלא נצליח לפענח.
הדימוי מתאר את הזרות האפשרית של אופן החשיבה. העובדה שמערכת מדברת בשפה אנושית אינה מבטיחה שהדרך שבה היא מגיעה למסקנות דומה לשלנו.
במקרה הזה אנחנו אלה שבונים את האינטליגנציה האחרת, ומחליטים לאילו משאבים ומערכות תהיה לה גישה. עצם הבנייה על ידינו אינה תשובה לטענתו של ימפולסקי על השליטה בה לאורך זמן.
בריאיון שלו ל-The Diary Of A CEO עם סטיבן ברטלט, שפורסם בספטמבר 2025, הוא מביא את האזהרות האלה לשיחה על תעסוקה, בינת-על ועתיד האנושות. התחזיות החריפות בפרק מבטאות את הערכתו לגבי קצב השינוי והסיכון.
המפגש האפשרי הזה מחייב אותנו לבחון הנחה בסיסית מאוד: האם אינטליגנציה שנוצרה כדי לעזור לנו בהכרח תישאר כפופה לנו?
מדוע קשה לחזות עולם שמנוהל בידי אינטליגנציה עליונה
אנחנו מדמיינים את העתיד באמצעות הידע והיצירתיות שיש לנו היום. מכאן נובע קושי ברור: מערכת שעולה עלינו עשויה להמציא פתרונות, טכנולוגיות ודרכי פעולה שעדיין איננו מסוגלים להעלות על הדעת.
במאמרו על אי-היכולת לחזות AI, ימפולסקי טוען שלא ניתן לצפות במדויק ובעקביות את כל פעולותיה של מערכת חכמה מאדם, גם כאשר מטרותיה ידועות.
יש כאן הבחנה חשובה: הוא אינו שולל כל תחזית סטטיסטית או הערכה של התנהגות כללית. הטענה נוגעת למגבלה של חיזוי מדויק של המהלכים עצמם.
לכן רשימת השינויים שאנחנו מסוגלים לכתוב היום אינה בהכרח מתארת את מלוא השינוי. אפשר לדבר על מחקר מהיר יותר, פיתוח תוכנה ואוטומציה, ובכל זאת להחמיץ את היישומים המשמעותיים ביותר.
אותה מגבלה חלה גם על הסכנות. תרחיש שלא הצלחנו לדמיין אינו בהכרח תרחיש שמערכת חזקה מאיתנו לא תוכל ליצור.
כמה אנחנו קרובים לזה היום
נכון לאוקטובר 2026, אין תאריך מוסכם להגעה ל-AGI או לבינת-על. ההתקדמות ביכולות אינה מספקת לוח זמנים ודאי.
דוח בטיחות הבינה המלאכותית הבינלאומי לשנת 2026 מתאר שיפור משמעותי ביכולות לצד פערי אמינות וביצועים לא אחידים. הוא מציג כמה מסלולים אפשריים עד 2030, מהאטה ועד האצה חדה.
אפשרות חשובה במיוחד היא שמערכות AI יסייעו לפתח מערכות AI טובות יותר. עם זאת, בפרסום מ-14 באוקטובר 2026 הדגיש ארגון המחקר METR שיותר קוד ויותר ניסויים אינם מוכיחים כשלעצמם האצה מקבילה בשיפור היכולות הכולל. עדיין חסרות לציבור ראיות מפורטות כדי להעריך את התהליך הזה.
האזהרה של ימפולסקי אינה תלויה בידיעה מדויקת של מועד ההגעה. אם מקבלים את טענתו על חוסר האפשרות לשלוט בבינת-על, עצם ההתקדמות לעברה מחייבת הכרעה לפני שהמערכת קיימת ופועלת בעולם.
ומה אם סופרמן עומד לנחות כאן
לצד דימוי החייזר המאיים, אפשר לדמיין שסופרמן מגיע לכדור הארץ: כוח עצום שמסייע לנו להתמודד עם בעיות שלא הצלחנו לפתור לבד.
בתרחיש אופטימי, בינה מלאכותית מתקדמת עשויה להאיץ פיתוח תרופות, להרחיב גישה לחינוך ולהעמיד יכולות מחקר לרשות יותר אנשים. אלה חלק מהאפשרויות שמציגה גם Google DeepMind בדיון שלה על AGI.
אבל הדימוי של סופרמן כולל הנחה נוספת: שהכוח הזה מחויב לטובתנו.
אפילו תרחיש שבו בני אדם חיים בשפע יכול לעורר שאלות על חירות וסמכות. האם אנחנו עדיין מחליטים מה חשוב לנו? האם אנחנו יכולים לסרב? האם התלות במערכת משאירה לנו אפשרות אמיתית לבחור אחרת?
ימפולסקי מתייחס גם לאפשרות של עתיד שבו בני האדם נשארים בטוחים אך מאבדים שליטה ומשמעות. מבחינתו, אובדן הסמכות על חיינו הוא חלק מהסיכון, גם מעבר לתרחישי אסון.
ההחלטה האנושית שלפני המפגש
אפשר להתווכח עם המסקנה של ימפולסקי, אבל צריך להתמודד עם הטענה שהוא מציג במלואה: לשיטתו, אין אפשרות לשמור לצמיתות על שליטה אנושית בבינת-על.
העמדה הזאת משנה את השאלה שמנחה את הפיתוח. במקום להניח שהשליטה תיפתר בהמשך, היא דורשת לבחון אם אנחנו מתקדמים לעבר מצב שאי אפשר יהיה להשיב ממנו את הסמכות האנושית.
החייזר וסופרמן מבטאים שתי אפשרויות שאנחנו יודעים לדמיין: כוח זר שמסכן אותנו, וכוח עצום שמיטיב איתנו. בינת-על עשויה להביא גם מציאות שאינה דומה לאף אחד מהסיפורים האלה.
כל עוד המפגש הזה עדיין לפנינו, נותרת בידינו החלטה אנושית: אילו מערכות לבנות, אילו יכולות לתת להן, ועל סמך מה להסכים להכניס אותן לעולם.
