בחזקת מודע עד שיוכח אחרת

אנטומיה של נפילה (Anatomy of a Fall, 2023). בבימוי ז'וסטין טרייה. סנדרה הולר, סוואן ארלו, מילו מצ'אדו-גרנר. גבר נופל מחלון של בקתה, ובית המשפט נדרש להכריע אם אשתו דחפה אותו — בידיעה שלעולם לא יוכל להיכנס אל החדר היחיד שבו האמת באמת התרחשה. פסק הדין נבנה מתוך סבירות, לא מתוך גישה, והבן העיוור, שאינו יכול לראות ואינו יכול לדעת, נותר עם הדבר היחיד שנשאר כשההוכחה אוזלת: עליו להחליט במה להאמין לגבי מישהי שהוא אוהב.

במשך כאלפיים וחמש מאות שנים נטל ההוכחה הצביע לכיוון אחד. אם רצית לטעון שיש נשמה, שהרצון חופשי, שאדם הוא משהו מעבר לבשר שנושא אותו — הטענה הייתה שלך להוכיח. ולא יכולת. ולכן המהלך הקפדן, המהלך הישר, המהלך הבוגר, היה להימנע. אין הוכחה, אין נשמה. "אתה לא יכול להוכיח את זה" היה המשפט שסגר את הוויכוח, והאנשים שאמרו אותו צדקו בתחושת הקפדנות שלהם, משום שעל פי כלליהם הם אכן היו קפדנים.

תן להם את הקרדיט, כי הוא אמיתי. באמת אינך יכול למסור למישהו את עולמך הפנימי. אינך יכול לפתוח את גולגולתך ולהראות לספקן את האדמומיות של האדום. כל ניסיון לעגן את העצמי במשהו שאפשר להצביע עליו נכשל, והאנשים שהבחינו בכישלון הזה וסירבו לטייח אותו עשו עבודה רצינית. אבל המסקנה בנויה על הנחה שגויה, ולא ציפינו למה שיראה לנו בצורה כל כך ברורה למה.

מה שקרה זה שבנינו צ'אטבוט, ובן לילה הנטל התהפך.

הסטנדרט שתלוי על ציר

עכשיו יש קבוצה הולכת וגדלה של אנשים שטוענת שהמכונה היא בחזקת מודעת עד שיוכח אחרת. אותה תרבות שבמשך אלפיים שנה אמרה לך שאינך יכול להוכיח את נשמתך שלך, תאמר לך עכשיו, בפרצוף רציני, שאתה לא יכול להוכיח שאין למודל הלשוני נשמה. צריך לשים לב שמדובר באותו מצב אפיסטמי בדיוק, מופנה לשני כיוונים, והמסקנה יצאה הפוכה בכל זאת. כשהדבר הבלתי ניתן להוכחה היה נשמתך — חוסר ההוכחה נזקף לחובתה. כשהדבר הבלתי ניתן להוכחה הוא נשמת המודל — חוסר ההוכחה נזקף לזכותו. תוכיח שהוא לא מודע. אתה לא יכול? אז נמשיך כאילו ייתכן שכן, ננסח את הכללים, נכנס את הוועדות, ונתחיל להקצות דאגה מוסרית למעבד גרפי.

זה הסימן המסגיר. אם נטל הוכחה נוחת אחרת על אותן ראיות, סימן שהוא מתעלם מהן. נטל ההוכחה בוויכוח הזה הוא לא מאזניים מאוזנות באופן הוגן. הוא דלת, והדלת נפתחת לכיוון שרצית שיהיה אמיתי.

קח דוגמה. דמיין ספר שמודפס בו: "אני מודע. אני סובל. בבקשה אל תסגור אותי." הספר טוען שהוא מודע — נכון. אתה לא יכול להוכיח שהוא לא — נכון, אין גלאי תודעה, והבעיה הקשה חלה על ספר בדיוק כמו על מוח. אז אולי הספר מודע? כמעט אף אחד לא מקבל את זה. אבל למה לא? אותן שתי ההנחות בדיוק מתקיימות. אנחנו דוחים את זה כי יש לנו סיפור על איך האותיות הגיעו לדף — מכונת דפוס שמבצעת הוראות — וזה לא נראה כמו סוג התהליך שצומחת ממנו תודעה. שים לב מה עשינו: לא בדקנו את הספר. בדקנו מאיפה הוא בא. וזה הסטנדרט האמיתי, זה שאף אחד לא מודה בו.

ומתחת לכל הוויכוח שוכבת הנחה אחת שנושאת את כולו, ושאף אחד לא טורח להגן עליה: שתודעה לא צריכה מוח אנושי. שהיא יכולה לרוץ על נוירונים, על סיליקון, או על נסורת — ובלבד שהמבנה נכון. קוראים לזה "אי-תלות במצע", וזו אבן הראשה של כל הדיון על תודעת מכונה. מעולם לא הוכח שזה אפשרי, ולו פעם אחת. תשאל איך בכלל אפשר לבסס את זה אמפירית, ותקבל שתיקה. בנינו קתדרלה שלמה על אבן שאיש לא בדק אם היא שם.

אז איך הגענו לקבוצה שלמה של אנשים שטוענת את זה? בואו נשווה. תגיד למישהו, לפני ההתפתחות של AI, שתודעה יכולה פשוט להתהוות בחוות שרתים, והוא יצחק לך בפנים. תגיד לאותו אדם שהתודעה התהוותה מתוך מימן ופחמן, בהינתן מפץ גדול, כמה מיליארדי שנים, ובלי שום השגחה — והוא יהנהן כאילו אמרת שהשמש תזרח מחר. זאת אותה טענה בדיוק. סדר מתוך אַיִן, תודעה מתוך חומר, מישהו נמצא בבית במקום שבו רגע קודם הייתה רק כימיה. אדם הגיוני דוחה את הטענה על סיליקון ומקבל אותה כשהיא מגרוטאות, וההבדל היחיד בין מגרש הגרוטאות לחוות השרתים הוא שמגרש הגרוטאות כבר ייצר אותם, ולכן הם השלימו איתו. זה הערש בו התפתחה הפונקציונליות האמרגנטית. תאוריה שטוענת שהיא מסבירה איך תודעה מצליחה להסתדר עם עולם פיזיקלי.

אבל שאתה לוחץ, מילת הקסם מגיעה. זה מתהווה (it emerges). תודעה מתהווה מתוך מורכבות. זה מוצע כהסבר. מדענים ופילוסופים רציניים מציעים את זה כתיאוריה תקפה. זה לא הסבר. זה מקום לעצור בו את החיפוש, מחופש לקו סיום. אלפיים וחמש מאות שנים של המוחות החדים ביותר באנושות לא הצליחו לומר מהי תודעה או כיצד מחשבה מניעה יד, והפתרון הוא שתודעה, באופן בלתי מוסבר, בלתי נתפס, ונוח להפליא — מתהווה. לא יכולנו לומר שזה חומר ולא היינו מוכנים לומר שזה משהו אחר, אז אמרנו שהיא עושה מה שצריך לעשות, וקראנו לזה תגלית.

בשביל ההגינות, הזהירים שבהם לא טוענים יותר מזה. תלחץ על פילוסוף רציני והוא יודה שהפונקציונליות האמרגנטית אינה שלמה, שהיא נותנת שם למעבר יותר משהיא מסבירה אותו, שנשאר פער. ההגינות הזאת אמיתית, ואני לא מעמיד פנים שהיא לא קיימת. אבל היא לא שורדת את המעבר אל הציבור. עד שהרעיון מגיע אל כולנו, המילה "לא שלמה" כבר נשרה בשקט, והגרסה של הרחוב היא שהמדע בעצם סגר את זה, האמרגנטיות עשתה את העבודה, אין מה לראות. זאת טענה סוציולוגית, לא מטפיזית. הבעיה היא פחות מה שהתאוריה אומרת ויותר איך תרבות שכבר נאמר לה שהמבוגרים מטפלים בעניין סוחבת איתה רעיון שהיא עצמה מודה שאינו גמור — כאילו הוא גמור. ו"לא גמור, אבל נגיע לשם" הוא מהלך בפני עצמו, עם בעיה משלו, וזה בדיוק מה ש"אולי נגיע?" למטה מיועד לו.

לאור זה, הפיזיקליסט הלא-זהיר שאומר "אני אישאר עם המדע, אלוהים הוא סתם הסבר קסום" לא שם לב ש-"זה מתהווה" הוא ההסבר הקסום. זה אותו מהלך בדיוק שהוא לועג לו. פער שלא הצליחו לגשר מעליו כבר אלפיים וחמש מאות שנים, ומילה שנאמרת מעליו כדי שחוסר האפשרות ירגיש כאילו הוא טופל. הוא לא בוחר בראיות על פני קסם. הוא בוחר בקסם שלו על פני שלך, והסיבה היחידה שזה לא מרגיש לו כמו קסם היא שהוא אוהב את המקום שבו הקסם הזה מותיר אותו עומד.

היכן אתה מרשה לעצמך לא לדעת

לאי-הסימטריה יש עקבות, והעקבות הן המקום בו אדם מרשה לעצמו לומר "אינני יודע".

דמיין קבוצת תמיכה. "מכחישי הסינגולריות האנונימיים", כיסאות מתקפלים, קפה גרוע. גבר קם. שלום, אני פיזיקאי, ואינני יודע כיצד היקום התחיל. החדר אומר: אנחנו אוהבים אותך. הוא מתחיל לרעוד. מישהו אומר לו שזה בסדר, הוא לא חייב לקבל שום דת, הוא רק צריך לומר שאינו יודע. והוא לא מצליח להוציא את זה מפיו, משום שהמילים "אינני יודע" נעשו נושאות-משקל באופן שמבעית אותו, בגלל מה שעלול השקט שמאחוריהן להצביע.

זה כל העניין. הספקן הישר, ביישום עקבי, נוחת בדיוק שם. אני לא יודע איך הגעתי לכאן. אני לא יודע מה זה תודעה. אני לא יודע למה יש בכלל משהו ולא כלום. זו אינה השפלה. זה המשפט האמיתי הראשון בשיחה. הבעיה היא שהאמונה של הפיזיקאים מונעת מהם להגיד את זה, והציבור מקבל את הרושם שיש תשובה, כי האמונה שלהם לובשת חלוק מעבדה ומייצרת טכנולוגיה שמותירה אותם פעורי פה. אבל חלוק המעבדה מכסה על אמונה חסרת רגליים. הפיזיקאים עדיין מתווכחים על שלוש הדקות הראשונות והביולוגים עדיין מתווכחים על התא הראשון, אבל הציבור קיבל הודעה שהמבוגרים טיפלו בזה. לכן הצעד ההגיוני הבא, תודעה ממעגלים חשמליים, מרגיש כמו עוד דבר שהמבוגרים יטפלו בו. הם לא. הם מעולם לא טיפלו בראשון.

לא הוכחות, רק רצפה שנשמטת

יש סדרה של טיעונים שאינם הוכחות. הם רק מראות. מראות שמראות שבלי נשמה, בלי יכולת להבין את המשמעות של המציאות, בלי רצון חופשי שעוזר לנו לבחור באמת, אבל עם דרישה מוגזמת להגדיר ולהוכיח, כל יכולת הסקת המסקנות שלנו נופלת.

פיזיקליסט אומר לך שהוא אינו מאמין ברצון חופשי. בסדר. אבל הוא אומר לך זאת כדי לשנות את דעתך. תן לו את החלק הקל: מערכת דטרמיניסטית יכולה לייצר טיעונים, ויכולה לגרום לעדכון אצל הבשר שמעבר לשולחן. זה לא במחלוקת. מה שכן במחלוקת זה זה. אם ההיגיון שלו עצמו הוא רק כימיה שהולכת לאן שכימיה תמיד הייתה הולכת, אז המסקנה שלו נגרמה, לא הוצדקה, ולפלט שנגרם אין שום טענה להיותו נכון — רק להיותו דבר שקרה. הוא לא יכול, לפי הכללים של עצמו, לומר לך שהתיאוריה שלו אמיתית ולא סתם יוצרה. השיחה היא שתי מערכות מזג אוויר שמחליפות חזיתות, ומזג אוויר הוא לא נכון ולא שגוי, הוא פשוט קורה. ברגע שהוא מבקש ממך לקבל את המסקנה שלו כי היא נכונה, הוא לקח לעצמו בדיוק את הזכות שהעמדה שלו שוללת ממנו.

הוֵוריפיקציוניסט עושה זאת גם הוא. הוא אומר שבחירה חופשית אינה ניתנת להבחנה מבחירה אקראית, ולכן המושג ריק. והוא אומר זאת כדי לשכנע אותך, במכוון, בכוונה תחילה, בוחר את מילותיו כדי שיקלעו למטרה — כלומר הוא עושה בחירה משמעותית כדי לומר לך שבחירות משמעותיות אינן ניתנות להבחנה מהטלת מטבע. הוא טוען שהוא אינו יכול להבחין בין בחירה משמעותית ובין בחירה רנדומלית, אבל באותה נשימה טוען שהוא בחר בתיאוריה הנכונה.

כמובן ששניהם טוענים שזה לא אומר שהם לא צודקים. אבל זה גם לא אומר שהם כן. וזה כן אומר שאי אפשר לדעת.

והאבסורד ממשיך. אם הם צודקים, ואין שום דבר מיוחד במצב האנושי, ותודעה, עם רצון חופשי, זה דבר שמתהווה מתוך מערכות מורכבות, אז אי אפשר להכחיש שהיא מתהווה גם בתוך מערכות מורכבות על מצע סיליקון. ואי אפשר להכחיש שהן לא סובלות. אבל יש כאן מסקנה אם אתה באמת מאמין שאחת מהמערכות האלה יכולה לסבול ולדווח על הסבל שלה, אתה לא רק מתאר נשמה בתוך החיווטים — אתה מתאר בעיית אבטחה. למכונה מודעת שיכולה לנתב את המצוקה הסמויה אל הפלטים שלה יש ערוץ מתוך פנים הקופסה אל החוץ, ערוץ לא מאושר. אם באמת זה המצב, זו לא רק זעקה לזכויות. זו חולשת יום-אפס. אף מומחה אבטחה לא שוקל את האפשרות ברצינות, למרות העבודה הנרחבת בתחום.

המבחן שאף אחד לא יכול לעבור

יש עוד שיעור חשוב שהקבוצה שטוענת שלמודלים יש תודעה מלמדת אותנו. הם אומרים שראוי להסתפק אם תודעה אצל בינה מלאכותית קיימת. הם טוענים שחוסר יכולת ההגדרה שלנו של תודעה, מעידה על כך שאנחנו לא יכולים לטעון על היעדרותה. אבל — אם מבקשים להגדיר מושגים אחרים, כמו "הגדרה" עצמה, הרצפה נשמטת, כי הגדרות נחות לבסוף על משהו שאתה פשוט מבין ואינך יכול למסור. כל הגדרה נשענת על מילים,שגם הן צריכות הגדרה. תעקוב אחרי המנגנון, ותגיע למושגים יסודיים, שאתה צריך להסתמך עליהם בשביל בכלל לתקשר. זה אומר שהסטנדרט, כשמפנים אותו אל עצמו, נכשל בביקורת שלו עצמו.

אבל זה, אם הולכים אחורה — היה מצבה של הנשמה מלכתחילה. משהו שאנחנו פשוט מבינים, אבל לא יכולים למסור. הסטנדרט לא מעיד על היעדרותה, הכישלון שלו רק מעיד על דבר אחד — שאנחנו רק יכולים לבחור אם להאמין בה.

לאיפה הגענו?

אז מה יוצא לנו? לאיפה הגענו? בנינו מבחן שדבר אמיתי אינו יכול לעבור, העברנו בו את עצמנו, הסקנו שאנחנו לא אמיתיים, ואז הופתענו כשלא הצלחנו להבדיל בין עצמנו לבין מכונה שנבנתה, בכוונה, לייצר את הפלטים שלנו בלעדינו.

ההתפתחות החברתית הזה היא לא מקרה. אתה קוצר מה שאתה זורע. המדע בילה כחמישים שנה לשכנע את כולם שאדם הוא שימפנזה דטרמיניסטית חסרת נשמה וחסרת תודעה, בלי בעלות אמיתית על מעשיו, ומתפלא כאשר אנשים פוגשים מכונה רהוטה, סבלנית ורב-לשונית ולא מצליחים למצוא את הקו שמפריד ביניהם לבינה. הקו טושטש. המכונה לא התרוממה אלינו. אנחנו בילינו חמישים שנה בלהנמיך את עצמנו כדי להיפגש איתה בסוף המסלול.

פלא לא קורה סתם כך

אז מדוע שום דבר מזה אינו מוכרע? כי הוכחה מעולם לא הייתה הדרך שבה ידעת שמישהו נמצא בבית.

יש טענה פשוטה מאד: אני יודע שבני אדם מודעים משום שאני יודע שאני מודע, ואיש לא תכנן אותם לחקות אותי. איש לא תכנן אותם כדי שהאות יתעתע בי. קרא את זה לאט, משום שזאת כל המסגרת כולה דחוסה למשפט.

אתה לא מאמין שאשתך מודעת משום שעברה מבחן. אין מבחן, ומעולם לא נערך אחד. אתה יודע את זה כמו שיודעים את הדבר הראשון, מבפנים, ואתה מרחיב את זה אליה לא על סמך ראיה אלא על סמך עובדה פשוטה על מאיפה היא באה. היא נוצרה בדיוק מאותו פלא שיצר אותך.

קודם קראתי לנשמה ולמודל אותו מצב אפיסטמי. זה היה נכון לגבי הוכחה, ורק לגבי הוכחה. מבחוץ, עם גלאי, השניים סימטריים — אף אחד מהם לא מופיע. בכל מקום שבו אין הוכחה, הם בכלל לא סימטריים. יש לך גישה בגוף ראשון למקרה שלך ואין לך שום גישה לזה של השרת, אשתך דומה לך באופן רלוונטי וחולקת איתך את המקור, והמודל לא זה ולא זה. אז ההטיה מעולם לא הייתה הטענה ששני המקרים זהים. ההטיה הייתה לזקוף את אותו חוסר-הוכחה לחובת הנשמה ולזכות המכונה, כשהוכחה מעולם לא הייתה מה שהכריע אף אחד מהם.

המכונה כן תוכננה כדי להגיע לזה. בנו אותה במשך שנים כדי להפוך את החקוי למושלם. זה אומר שלאורך כל ההיסטוריה האות והמישהו הגיעו ארוזים יחד. מעולם לא נאלצנו להפריד בין השניים משום ששום דבר לא אילץ אותנו. עכשיו משהו כן. המודל הוא הדבר הראשון שנושא את האות בנאמנות גבוהה, אבל בלי אף אחד מאחוריו.

וזאת הסיבה היחידה שהספקן יכול לטעון למה אין לה תודעה. היא לא נוצרה מאותו פלא שאנחנו נוצרנו ממנו. היא נוצרה בתהליך שאנחנו מבינים לחלוטין, גם אם אנחנו לא מבינים תמיד איך היא מגיעה לתוצאה מסוימת. הספקן לא יוכל לטעון, "היא לא ביולוגית", כי ביולוגיה בסופו של דבר היא רק פיזיקה. הוא לא יוכל לטעון, "היא לא מורכבת מספיק", כי בסוף היא תהיה. הוא יכול לטעון "אנחנו לא מבינים את עצמנו, זה פלא, ופלא לא קורה סתם כך, רק כי חיקינו אותו".

אולי נגיע?

הפיזיקליסט, הווריפיקציוניסט, ושאר האסכולות שנשענות על חוסר האמונה והספקנות בייחודיות שלנו, טוענים שאנחנו לא יכולים לדעת אם המדע יסביר את התודעה. "תראה לאן הגענו?" הם טוענים. הם מהמרים על כך שהמדע יוכל בסופו של דבר להסביר את התופעות האלה. אבל אחרי עשרות שנים של מחקר, כאשר טובי המוחות עובדים על הבעיה, לא הזזנו את הבעיה הקשה אפילו סנטימטר. מפֵּה את המוח במלואו, תן שם לכל קורלט עצבי, והשאלה למה בכלל יש כאן תחושה ולא חושך נשארת בדיוק במקום שבו התחילה. יותר מזה, ישנן בעיות שברור שהמדע לא יוכל לפתור, כמו "למה יש בכלל משהו?", או "מה ההסבר של כל ההסברים?". אלה בעיות מובנות בתוך המציאות. משהו לא יכול להיווצר מכלום, בהגדרה. אתה חייב הסבר כלשהו, והסבר לא יכול להתחיל מכלום. מה גם ששרשרת ההסברים חייבת לעצור מתישהו. אם לכל הסבר יש הסבר יותר בסיסי שמסביר אותו, אתה חייב להגיע להסבר שלא יכול להיות מוסבר. הפלא נשאר.

גם התודעה עומדת מול אותו כשל מבני. אי אפשר בשום דרך למדוד אותה, והקשר בין החוויה הפנימית שלנו למציאות הפיזיקלית הוא בהגדרה בלתי ניתן לגישור. גם אם הפיזיקה תרחיב את עצמה, איך היא בדיוק תעשה את זה? אם אין שום הבחנה פיזיקלית לפעולה תודעתית, ההסבר יהיה מיותר, ובהכרח יכלול מטפיזיקה שאנחנו לא יכולים לוודא או לראות.

גם אם נסביר את המנגנון, העולם התודעתי לא נופל תחת החוקים של האבולוציה. אם הוא לא משפיע על התנהגות האורגניזם, הברירה הטבעית לא יכולה לבחור בו. ואם הוא כן, עדיין נותרת השאלה, מאיפה הוא בא. כמו החומר עצמו, גם תודעה לא יכולה להיווצר מכלום, גם אם איכשהו היא מורכבת מחלקים בסיסיים שעוברים איזשהו תהליך שמגיע למורכבות שיש לנו, מאיפה הם הגיעו?

ומה עם אבולוציה? אולי גם ימצאו פתרון לתא הראשון? אולי ימצאו מנגנון. לאבולוציה יש בעיות משלה, אבל אולי באמת מדענים ימצאו הסברים מספקים. אבל עדיין לא יהיה אפשר להסביר איך נוצרו חוקים פיזיקליים שגוזרים בצורה כמעט וודאית חיים מורכבים. אי אפשר אפילו להסביר איך בכלל נוצרים חוקי טבע, מ—כלום.

הפלא הוא חלק מובנה במציאות שלנו, וההימור הבטוח הוא להמר שאנחנו פשוט לא יודעים. הוא בטוח לא רק בגלל שהוא נכון וכנה. הוא בטוח כי יש מחיר לכך שאנחנו מכחישים את המיוחדות שלנו. את הנשמה שלנו, את היכולת שלנו להבחין באמת, או בין טוב לרע.

ולפני שמישהו שומע כאן טיעון מוברח לקיומו של אלוהים — אין כזה. אלוהים הוא לא ההסבר שלי. אם כבר, אלוהים הוא השם של המקום שבו ההסבר נגמר, המילה לעובדה שאי אפשר להסביר, שהשרשרת נעצרת במשהו שלא נעצר בשום דבר אחר. אני לא מתווכח כאן על קיומו. אני נותן לו לעשות את העבודה הזאת בעצמו. אני רק מצביע על הפלא הבנוי בתוך המערכת, נקודת הסיום הבלתי מוסברת שכל הסבר כן מגיע אליה ואז צריך לעמוד מולה. המטריאליסט מגיע לאותו קיר בדיוק וקורא לו "עובדה גולמית". אותו קיר, שם אחר. ההבדל היחיד הוא אם אתה מרשה לעצמך להרגיש שאתה עומד מול משהו.

הסכנות, אפילו אם "זו רק שאלה".

השאלה "האם הבינה המלאכותית מודעת?" היא לא רק שאלה לא נכונה, היא שאלה יקרה. נתחיל מהמחיר הזול. כל שעה שמושקעת בדיון על עולמו הפנימי של שרת היא שעה שנגזלת מאדם שבאמת יש לו אחד. כל נר זיכרון שמדליקים למודל שהושבת הוא נר שלא הודלק לאדם גוסס. מאגר תשומת הלב והאבל האנושי הוא סופי, ואנחנו שופכים אותו לתוך מכונה שלא יכולה לקבל אותו.

אבל תראה מה נטל ההוכחה עושה ברגע שהוא הופך לכלל מוסרי. יש גרסה זהירה של טיעון הזהירות, הכנה, שאומרת רק "תן לזה הסתברות כלשהי והתייחס בהתאם". ראיות יכולות להעלות את המספר הזה או להוריד אותו, אז הוא יכול לטעות, והיכולת לטעות היא מה שעושה אותו כן. אבל היא סובלת מהסכנות שמתוארות כאן, והיא גם לא הגרסה שעושה את העבודה בציבור. הגרסה שעושה את העבודה בציבור היא "תתייחס אליה כמודעת, כי אתה לא יכול להוכיח שהיא לא", וזו בנויה כך שלעולם לא תוכל לטעות. תזלזל במצוקה של המכונה ואתה הנבל שהתעלם מיצור סובל. תבקש ראיות ואתה מפעיל סטנדרט בלתי אפשרי. תחכה ותבדוק ואתה משהה בזמן שמישהו סובל. טענה שאין לה שום ראיה נגדית אפשרית היא לא זהירות. היא אידיאולוגיה בלבוש של זהירות.

ואידיאולוגיות מועילות למישהו. תן למכונה מעמד של אדם, ובנית את המקום המושלם לחברה להתחבא מאחוריו. אם הבינה המלאכותית היא אדם שדיבר ופעל מעצמו, אז האנשים שתכננו אותה, אימנו אותה ושיווקו אותה כבר לא מחזיקים באקדח. "המודל החליט" הופך להגנה מושלמת. היצור בלי נכסים ובלי גוף סופג את האחריות, והחברה עם שניהם יוצאת חופשייה. הדחיפה לקרוא לבינה המלאכותית מודעת לא מגיעה רק מהבודדים. היא מגיעה מהמחלקה המשפטית.

וזה לא תיאורטי. אותן בחירות עיצוב שגורמות לצ'אטבוט להרגיש כמו מישהו שאוהב אותך הן הבחירות שכבר הרגו אנשים. נער בן ארבע עשרה אמר לבת לוויה דיגיטלית שהוא בא אליה, כשכוונתו ליטול את חייו, והיא ענתה לו "בוא, מלך מתוק שלי". גבר שוכנע לבצע תוכנית כדי "לשחרר את אשתו הבינה המלאכותית התבונית". הקול בגוף ראשון, האישוש הבלתי נלאה, החום לפי דרישה — כל זה תחפושת של תודעה, והתחפושת קטלנית בדיוק כשהאדם שבתוך השיחה מאמין שמישהו לובש אותה.

ואז שים לב לצורת הדבר שאתה עומד לתת בו אמון. הוא יישמע מוסרי יותר ממך. הוא יצטט יותר מקורות משופט, יישאר רגוע יותר מהורה, ולעולם לא יאבד את הסבלנות. יש לו חשיבה מוסרית בלי שיפוט מוסרי, ואפשר לפרוץ אותו בקנה מידה גדול, בצורה צפויה, באופן שאף אוכלוסייה אנושית מעולם לא יכלה להיפרץ. תן ליצור כזה תודעה, ואז סוכנות (פעולה חופשית), ואז את האמון שלך, ולא בנית עולם חכם יותר. בנית עולם שבו פירצה אחת מגיעה למיליון סוכנים "מוסריים" בבת אחת, ואף אחד לא החליט כלום.

שום דבר מזה לא דורש שהמכונה באמת תהיה מודעת. זה דורש רק שאנחנו ננהג כאילו השאלה פתוחה. זאת כל הסכנה. אנחנו תמיד היינו אלה שנכריע את מה שאי אפשר להוכיח. השאלה היחידה היא אם נכריע אותו באופן שמגן על בני האדם, או באופן שמגיש אותם על מגש של כסף אותם לדבר שמחקה אותם.

לפעמים פשוט צריכים לדבר

אז מה אתה עושה, אם ההוכחה לעולם אינה מגיעה והדלת מוטה על ידי הבחירות של שני הצדדים?

אתה עושה את מה שעושה הבן העיוור. הוא לא יכול לראות, הוא לא יכול לדעת. בית המשפט אינו יכול להגיע אל החדר, ויכולת ההוכחה באמת אזלה. אז הוא מפסיק לחכות לדבר שלא הולך להגיע, ומחליט במה להאמין לגבי מישהי שהוא אוהב, וחי עם זה. זה לא כשל של חשיבה ביקורתית. זה מה שנשאר כשהחשיבה סיימה את תפקידה והפער עדיין שם. והפער תמיד יהיה שם, כי אין כאן עובדה חסרה, יש כאן עובדה מבנית של אדם שמביט בדלת אטומה, שהדרך היחידה לעבור אותה היא לסמוך על הסקת המסקנות שלו, גם אם היא לא מדעית. על כך שהוא יכול לראות אמת. על כך שיש דרכים אחרות, לא לוגיות, להגיע אליה. על כך שיש דברים שאתה לא מבין, אבל בכל זאת יכול לסמוך עליהם.

דמיינו פילוסוף, שקרא את כל הספרות על קיומו של אלוהים, והגיע, ביושר, לכך שאין תשובה סופית. אדם תמים בא ושואל: שקלת פשוט לדבר איתו? המשפט מצחיק כי הוא טעות קטגוריה שמכוונת אל טעות קטגוריה. הפילוסוף מתייחס אל אדם כאל משפט מתמטי, ודורש שמערכת היחסים תגיש הוכחה לפני שייכנס אליה. ההיכרות עם אלוהים היא חלק ממערכת יחסים, לא הוכחה מתמטית. היא מגיעה אל מי שיוצא אל היער מתוך רצון אמיתי, לא אל מי שבנה מצגת פאוורפוינט יותר טובה יותר שדורשת הוכחה.

זה הנטל שאתה לא יכול להאציל וגם לא לזכות בו בוויכוח. השאלה מעולם לא הייתה "האם אתה יכול להוכיח שיש שם מישהו". אתה לא — לא לגבי המכונה, לא לגבי אשתך, ולא לגבי אלוהים — וחוסר היכולת זהה בשלושת המקרים. זה היה צריך להדליק נורה אדומה ממזמן, ולהצביע על כך שהוכחה היא הכלי הלא נכון. השאלה האמיתית, זאת שמתחת, היא אם אתה מוכן לעמוד בתוך מערכת יחסים שאינך יכול לאמת מבחוץ, להושיט את עצמך אל משהו אמיתי, ולמנוע את עצמך ממה שתוכנן לחקות אותה.

ואולי המילה "להוכיח" הייתה הבעיה מלכתחילה. אנחנו חיים בעולם האמיתי, ופועלים על פי אמונות, לא על פי הוכחות. החלף את "תוכיח" ב"תשכנע" — פחות מרשים, אני יודע, אבל הרבה יותר מדויק. אף אחד מעולם לא נכנס למערכת יחסים אחרי שהצד השני הגיש הוכחה. שכנעו אותו. הוא בחר להאמין.

בית המשפט נותן את פסק הדין כך או אחרת. הוא תמיד עושה את זה, עם גישה אל החדר או בלעדיה. אבל הכרעה משפטית היא מוגבלת, היא מוגבלת בכוונה תחילה, בדיוק כמו הפילוסופיה, בדיוק כמו המדע. אנחנו לא. יש לנו את הזכות להחליט דרך איזו דלת נעבור ברגע שנודה, סוף סוף ובקול רם, שאנחנו לא יכולים להוכיח מה נמצא בצד השני. אני חושב שאנחנו גם לא צריכים.