[大衛選讀] 關於人工智慧的發展與影響，近期有很多思辨。像是AI Is a False God, Artificial intelligence is losing hype等，都在講現在看到的人工智慧，只是一種假象。看似充滿智慧的背後，只是玩弄了人類熟知的表達形式，並不代表真知卓見與創新巨變。
相較之下，哈拉瑞 (Yuval Noah Harari) 的新書摘要，一篇名為《永遠不要召喚你無法控制的力量》的文章，則更能引起我的深度反思。
哈拉瑞是著名的歷史學者、哲學家暨暢銷作者，著有人類大歷史三部曲。他不從短期技術分析著手，更關注人類歷史長期的發展與演變趨勢。他認為人工智慧並不等同於以往的技術革新，不只是個工具，而是歷史上第一個能夠自己做決定和創造新想法的技術。
以 AlphaGo 的第 37 手棋作為關鍵分界點，人工智慧的特質，包含越來越不依賴人造的外星本質 (the alien nature of AI)，以及不可理解性 (the unfathomability of AI)，對於人類來說都是前所未有的挑戰甚至威脅。
往後如果有幸，人類沒有發動大規模戰爭，毀滅掉了自己，也勢必要面臨人工智慧壓倒性的挑戰。團結一致是唯一的機會，不然召喚出無法控制的力量之後，就很難抵禦我們孕育出來的超高等智慧了。
文章很長，值得細讀思考。內容整理如下，原文連結：https://www.theguardian.com/technology/article/2024/aug/24/yuval-noah-harari-ai-book-extract-nexus
▋永遠不要召喚你無法控制的力量 Never summon a power you can’t control
忘記好萊塢電影演的魔鬼終結者機器人吧，人工智慧的現實情況，遠比這些電影更加危險。
縱觀歷史，許多傳統思想都認為人性中存在某種致命的缺陷，誘使我們追求我們不知該如何處理的力量。
例如希臘神話中，法厄同妄圖駕駛太陽神赫利俄斯的太陽戰車，結果失控引發災難。兩千年後，當工業革命邁出第一步，機器開始在許多任務中取代人類時，歌德的警世故事《魔法師的學徒》講述了學徒使用魔法讓掃帚取水，卻無法加以控制而釀成大洪水。這兩個故事都警示人類：不要貿然召喚或使用超出自身掌控能力的力量。
▎人工智慧對人類構成前所未有的威脅，因為它是歷史上第一個能夠自己做決定和創造新想法的技術 (the first technology in history that can make decisions and create new ideas by itself)
以前所有的發明都是為人類賦能，因為無論新工具有多麼強大，使用它的決定仍然掌握在我們手中。核彈不會自己決定殺死誰，也無法改進自己或自行發明出更強大的炸彈。
相比之下，自主無人機可以自己決定殺死誰，而 AI 可以創造新穎的炸彈設計、前所未有的軍事策略和更好的人工智慧。
人工智慧不只是工具，它是一個智能個體 (AI isn’t a tool – it’s an agent)。人工智慧最大的威脅在於，我們正在召喚無數個新的強大智能個體到地球上，它們可能比我們更聰明、更有想像力，而我們並不完全理解或控制它們。
▎AI 過往被用來當做人工智慧 (artificial intelligence) 的縮寫，但也許將其視為外星智慧 (alien intelligence) 的縮寫更為恰當
隨著人工智慧的發展，在依賴人類設計的意義層面上，它變得越來越不「人造」，反而更加地「外星」。
許多人試圖用「人類水平智能」的標準來衡量甚至定義人工智慧，我覺得這樣的標準有很深的誤導性。這就像用「鳥類水平般的飛行」標準來定義和評估飛機一樣，這兩者間已經是完全不同的尺度。
人工智慧並不是在朝著人類水平智能前進。它正在發展一種更像是外星類型的智能。
現在的人工智慧已經能夠自己創作藝術和進行科學發現。在未來幾十年內，它很可能獲得創造新生命形式的能力 (AI will gain the ability even to create new life forms)。無論是通過編寫基因代碼還是發明使無機實體生動起來的無機代碼。
因此，人工智慧可能會改變不僅是我們物種的歷史，而且是所有生命形式的進化進程 (not just of our species’ history but of the evolution of all life forms)。
▎AlphaGo 的第 37 手棋，人工智慧革命的標誌起點
以AlphaGo 在 2016 年 3 月擊敗韓國圍棋冠軍李世乭的狀況為例，這一刻重新定義了人工智慧，並被許多學術和政府機構認為是歷史的關鍵轉折點。
當時第二局比賽的第 37 手棋，AlphaGo 顯然搞砸了，下了一步毫無道理的棋。當時現場專家認為這是「一個錯誤」，這步棋太不尋常了。然而，隨著接近終局，那個「錯誤」的下法被證明是關鍵。
AlphaGo 再次獲勝。圍棋策略正在我們眼前被重寫。人工智慧發現了幾千年來最聰明的棋手都沒想到的想法。
這第 37 手棋成為人工智慧革命的標誌，原因有二。首先，它展示了人工智慧的外星本質 (the alien nature of AI)。
在東亞，圍棋被認為遠不止是一種遊戲，它是一種珍貴的文化傳統。在 2500 多年的時間裡，數千萬人下過圍棋，發展出了整個思想流派。然而，在這些千年歲月中，人類思維只探索了圍棋景觀中的某些區域。其他區域被忽視了，因為人類思維根本沒有想到要冒險進入那裡。人工智慧不受人類思維限制，發現並探索了這些以前隱藏的區域。
其次，第 37 手棋展示了人工智慧的不可理解性 ( the unfathomability of AI)。即使在 AlphaGo 使用這步棋獲得勝利之後，DeepMind 團隊也無法解釋 AlphaGo 是如何決定下這步棋的。你無法向某人詳細解釋決策過程，以具體說明為什麼算法會產生特定的預測。工程師無法深入內部，清楚地解釋是什麼導致了某事的發生。
不可理解的外星智能的崛起，會對所有人類構成威脅，尤其是對民主構成威脅。如果越來越多關於人們生活的決定是在黑盒子中做出的，以至於選民無法理解和挑戰這些決定，民主就會停止運作。
試著想看看，如果AlphaGo 的第 37 手棋，發生在金融領域。人工智慧設計了新的投資策略，還想出了人類從未想過的全新金融工具。在金融這個理想的遊樂場中，沒有物理世界的限制與混亂，金融市場本身就是一個純粹資訊和數學的領域。
然後突然發生了一場比 1929 年或 2008 年更大的金融崩潰。但沒有一個人，無論是總統、銀行家還是公民大眾，知道是什麼導致了這場崩潰，以及該如何應對。這時候我們應該聽從人工智慧的建議，去大膽執行比量化寬鬆更大膽，也更不透明的救市措施嗎？
▎人類的唯一希望來自於團結一致，但疏離與作繭恰好反道而行
計算機還沒有強大到能夠完全逃脫我們的控制或自行摧毀人類文明。只要人類團結一致，我們就可以建立機構來規範人工智慧，無論是在金融領域還是戰爭領域。不幸的是，人類從未團結過。
許多國家可能會採取負責任的行動來規範人工智慧的這些用途，但如果即使只有少數社會不遵守，也可能足以危及整個人類。因為因為人工智慧是一個全球性，而非國家性的問題。
隨折美國與中國在資訊科技與人工智慧競賽中的對抗，這兩個數位世界可能會越來越疏離。過去幾十年來，世界的主要隱喻是網絡 (web)。未來幾十年的主要隱喻可能是繭 (cocoon)。
歐盟、印度、巴西和俄羅斯，也可能會試圖創建自己的數字繭，每個都受到不同政治、文化和宗教傳統的影響。世界可能不會被分成兩個全球帝國，而是被分成十幾個帝國。
▎網路戰的無聲無息與不可預測性，加大了戰爭衝突風險
新帝國相互競爭越激烈，爆發武裝衝突的危險就越大。過去美蘇冷戰從未升級為直接軍事對抗，要感謝相互保證毀滅 (mutually assured destruction) 的學說。但人工智慧時代的升級危險更大，因為網路戰在本質上與核戰爭不同。
網路攻擊可以破壞一個國家的電網，但也可以用來摧毀一個秘密研究設施，干擾敵人的感應器，煽動政治醜聞，操縱選舉或入侵個別的智慧手機。而且它們可以無聲無息地 (stealthily) 做到這一切。它們不會以蘑菇雲和火焰風暴宣告自己的存在，也不會在發射台到目標之間留下可見的痕跡。因此，有時很難知道是否發生了攻擊，或者誰發動了攻擊。開始發動網絡戰的誘惑因此很大，升級的誘惑也很大。
第二個關鍵區別則是可預測性 (predictability)。冷戰就像一場超理性的國際象棋遊戲，核衝突中毀滅的確定性如此之大，以至於開戰的欲望相應地很小。
網絡戰則缺乏這種確定性。沒有人確切知道雙方在哪裡植入了邏輯炸彈、特洛伊木馬和惡意軟件。沒有人可以確定他們自己的武器在需要時是否真的會起作用。當命令下達時，中國的導彈會發射嗎，或者美國人是否已經入侵了它們或指揮鏈？美國航空母艦會如預期那樣運作，還是會神秘地被關閉？
這種不確定性削弱了相互保證毀滅的學說。一方可能會說服自己，無論是對是錯，它可以發動成功的第一擊並避免大規模報復。更糟糕的是，如果一方認為它有這樣的機會，發動第一擊的誘惑可能變得不可抗拒，因為人們永遠不知道機會之窗會開放多久。博弈理論指出，軍備競賽中最危險的情況是，當一方感到它有優勢，但這個優勢正在消失時。
▎如果繼續分裂跟對立競爭，人類都將成為人工智慧的獵物
即使人類避免了全球陷入戰爭的最壞情況，新數位帝國的崛起仍可能危及數十億人的自由和繁榮。有鑑於19世紀和20世紀的工業帝國是怎樣剝削和壓迫他們的殖民地的，若是要單純天真地期望新的數位帝國將會表現得比過往更好，那就太愚蠢了。
此外，當世界被劃分為對立的帝國，人類不太可能會一起合作，去克服生態危機或規範人工智能或其他顛覆性技術，如生物工程等。
從國家領導人的視角來看，許多權力擁有者認為世界是一個叢林，近幾十年來的相對和平則是一種幻覺；唯一實際的選擇是，你是要扮演獵食者，還是被獵殺的角色。
面對這樣的選擇，大多數領導人都想要當獵食者。然而，是時候應該提醒這些領導人，叢林中已經出現了一個新的頂級獵食者。如果人類找不到合作和保護人類共同利益的方法，我們最終都將成為人工智慧手到擒來的獵物。
