[大衛選讀] 關於人工智慧的發展與影響，近期有很多思辨。像是AI Is a False God, Artificial intelligence is losing hype等，都在講現在看到的人工智慧，只是一種假象。看似充滿智慧的背後，只是玩弄了人類熟知的表達形式，並不代表真知卓見與創新巨變。
相較之下，哈拉瑞 (Yuval Noah Harari) 的新書摘要，一篇名為《永遠不要召喚你無法控制的力量》的文章，則更能引起我的深度反思。
哈拉瑞是著名的歷史學者、哲學家暨暢銷作者，著有人類大歷史三部曲。他不從短期技術分析著手，更關注人類歷史長期的發展與演變趨勢。他認為人工智慧並不等同於以往的技術革新，不只是個工具，而是歷史上第一個能夠自己做決定和創造新想法的技術。
以 AlphaGo 的第 37 手棋作為關鍵分界點，人工智慧的特質，包含越來越不依賴人造的外星本質 (the alien nature of AI)，以及不可理解性 (the unfathomability of AI)，對於人類來說都是前所未有的挑戰甚至威脅。
往後如果有幸，人類沒有發動大規模戰爭，毀滅掉了自己，也勢必要面臨人工智慧壓倒性的挑戰。團結一致是唯一的機會，不然召喚出無法控制的力量之後，就很難抵禦我們孕育出來的超高等智慧了。
文章很長，值得細讀思考。內容整理如下，原文連結：https://www.theguardian.com/technology/article/2024/aug/24/yuval-noah-harari-ai-book-extract-nexus
永遠不要召喚你無法控制的力量 Never summon a power you can’t control
忘記好萊塢電影演的魔鬼終結者機器人吧，人工智慧的現實情況，遠比這些電影更加危險。
縱觀歷史，許多傳統思想都認為人性中存在某種致命的缺陷，誘使我們追求我們不知該如何處理的力量。
例如希臘神話中，法厄同妄圖駕駛太陽神赫利俄斯的太陽戰車，結果失控引發災難。兩千年後，當工業革命邁出第一步，機器開始在許多任務中取代人類時，歌德的警世故事《魔法師的學徒》講述了學徒使用魔法讓掃帚取水，卻無法加以控制而釀成大洪水。這兩個故事都警示人類：不要貿然召喚或使用超出自身掌控能力的力量。
人工智慧對人類構成前所未有的威脅，因為它是歷史上第一個能夠自己做決定和創造新想法的技術 (the first technology in history that can make decisions and create new ideas by itself)
以前所有的發明都是為人類賦能，因為無論新工具有多麼強大，使用它的決定仍然掌握在我們手中。核彈不會自己決定殺死誰，也無法改進自己或自行發明出更強大的炸彈。
相比之下，自主無人機可以自己決定殺死誰，而 AI 可以創造新穎的炸彈設計、前所未有的軍事策略和更好的人工智慧。
人工智慧不只是工具，它是一個智能個體 (AI isn’t a tool – it’s an agent)。人工智慧最大的威脅在於，我們正在召喚無數個新的強大智能個體到地球上，它們可能比我們更聰明、更有想像力，而我們並不完全理解或控制它們。
AI 過往被用來當做人工智慧 (artificial intelligence) 的縮寫，但也許將其視為外星智慧 (alien intelligence) 的縮寫更為恰當
隨著人工智慧的發展，在依賴人類設計的意義層面上，它變得越來越不「人造」，反而更加地「外星」。
許多人試圖用「人類水平智能」的標準來衡量甚至定義人工智慧，我覺得這樣的標準有很深的誤導性。這就像用「鳥類水平般的飛行」標準來定義和評估飛機一樣，這兩者間已經是完全不同的尺度。
人工智慧並不是在朝著人類水平智能前進。它正在發展一種更像是外星類型的智能。
現在的人工智慧已經能夠自己創作藝術和進行科學發現。在未來幾十年內，它很可能獲得創造新生命形式的能力 (AI will gain the ability even to create new life forms)。無論是通過編寫基因代碼還是發明使無機實體生動起來的無機代碼。
因此，人工智慧可能會改變不僅是我們物種的歷史，而且是所有生命形式的進化進程 (not just of our species’ history but of the evolution of all life forms)。
AlphaGo 的第 37 手棋，人工智慧革命的標誌起點
以AlphaGo 在 2016 年 3 月擊敗韓國圍棋冠軍李世乭的狀況為例，這一刻重新定義了人工智慧，並被許多學術和政府機構認為是歷史的關鍵轉折點。
當時第二局比賽的第 37 手棋，AlphaGo 顯然搞砸了，下了一步毫無道理的棋。當時現場專家認為這是「一個錯誤」，這步棋太不尋常了。然而，隨著接近終局，那個「錯誤」的下法被證明是關鍵。
AlphaGo 再次獲勝。圍棋策略正在我們眼前被重寫。人工智慧發現了幾千年來最聰明的棋手都沒想到的想法。
這第 37 手棋成為人工智慧革命的標誌，原因有二。首先，它展示了人工智慧的外星本質 (the alien nature of AI)。
在東亞，圍棋被認為遠不止是一種遊戲，它是一種珍貴的文化傳統。在 2500 多年的時間裡，數千萬人下過圍棋，發展出了整個思想流派。然而，在這些千年歲月中，人類思維只探索了圍棋景觀中的某些區域。其他區域被忽視了，因為人類思維根本沒有想到要冒險進入那裡。人工智慧不受人類思維限制，發現並探索了這些以前隱藏的區域。
其次，第 37 手棋展示了人工智慧的不可理解性 ( the unfathomability of AI)。即使在 AlphaGo 使用這步棋獲得勝利之後，DeepMind 團隊也無法解釋 AlphaGo 是如何決定下這步棋的。你無法向某人詳細解釋決策過程，以具體說明為什麼算法會產生特定的預測。工程師無法深入內部，清楚地解釋是什麼導致了某事的發生。
不可理解的外星智能的崛起，會對所有人類構成威脅，尤其是對民主構成威脅。如果越來越多關於人們生活的決定是在黑盒子中做出的，以至於選民無法理解和挑戰這些決定，民主就會停止運作。
試著想看看，如果AlphaGo 的第 37 手棋，發生在金融領域。人工智慧設計了新的投資策略，還想出了人類從未想過的全新金融工具。在金融這個理想的遊樂場中，沒有物理世界的限制與混亂，金融市場本身就是一個純粹資訊和數學的領域。
然後突然發生了一場比 1929 年或 2008 年更大的金融崩潰。但沒有一個人，無論是總統、銀行家還是公民大眾，知道是什麼導致了這場崩潰，以及該如何應對。這時候我們應該聽從人工智慧的建議，去大膽執行比量化寬鬆更大膽，也更不透明的救市措施嗎？
人類的唯一希望來自於團結一致，但疏離與作繭恰好反道而行
計算機還沒有強大到能夠完全逃脫我們的控制或自行摧毀人類文明。只要人類團結一致，我們就可以建立機構來規範人工智慧，無論是在金融領域還是戰爭領域。不幸的是，人類從未團結過。
許多國家可能會採取負責任的行動來規範人工智慧的這些用途，但如果即使只有少數社會不遵守，也可能足以危及整個人類。因為因為人工智慧是一個全球性，而非國家性的問題。
隨折美國與中國在資訊科技與人工智慧競賽中的對抗，這兩個數位世界可能會越來越疏離。過去幾十年來，世界的主要隱喻是網絡 (web)。未來幾十年的主要隱喻可能是繭 (cocoon)。
歐盟、印度、巴西和俄羅斯，也可能會試圖創建自己的數字繭，每個都受到不同政治、文化和宗教傳統的影響。世界可能不會被分成兩個全球帝國，而是被分成十幾個帝國。
網路戰的無聲無息與不可預測性，加大了戰爭衝突風險
新帝國相互競爭越激烈，爆發武裝衝突的危險就越大。過去美蘇冷戰從未升級為直接軍事對抗，要感謝相互保證毀滅 (mutually assured destruction) 的學說。但人工智慧時代的升級危險更大，因為網路戰在本質上與核戰爭不同。
網路攻擊可以破壞一個國家的電網，但也可以用來摧毀一個秘密研究設施，干擾敵人的感應器，煽動政治醜聞，操縱選舉或入侵個別的智慧手機。而且它們可以無聲無息地 (stealthily) 做到這一切。它們不會以蘑菇雲和火焰風暴宣告自己的存在，也不會在發射台到目標之間留下可見的痕跡。因此，有時很難知道是否發生了攻擊，或者誰發動了攻擊。開始發動網絡戰的誘惑因此很大，升級的誘惑也很大。
第二個關鍵區別則是可預測性 (predictability)。冷戰就像一場超理性的國際象棋遊戲，核衝突中毀滅的確定性如此之大，以至於開戰的欲望相應地很小。
網絡戰則缺乏這種確定性。沒有人確切知道雙方在哪裡植入了邏輯炸彈、特洛伊木馬和惡意軟件。沒有人可以確定他們自己的武器在需要時是否真的會起作用。當命令下達時，中國的導彈會發射嗎，或者美國人是否已經入侵了它們或指揮鏈？美國航空母艦會如預期那樣運作，還是會神秘地被關閉？
這種不確定性削弱了相互保證毀滅的學說。一方可能會說服自己，無論是對是錯，它可以發動成功的第一擊並避免大規模報復。更糟糕的是，如果一方認為它有這樣的機會，發動第一擊的誘惑可能變得不可抗拒，因為人們永遠不知道機會之窗會開放多久。博弈理論指出，軍備競賽中最危險的情況是，當一方感到它有優勢，但這個優勢正在消失時。
如果繼續分裂跟對立競爭，人類都將成為人工智慧的獵物
即使人類避免了全球陷入戰爭的最壞情況，新數位帝國的崛起仍可能危及數十億人的自由和繁榮。有鑑於19世紀和20世紀的工業帝國是怎樣剝削和壓迫他們的殖民地的，若是要單純天真地期望新的數位帝國將會表現得比過往更好，那就太愚蠢了。
此外，當世界被劃分為對立的帝國，人類不太可能會一起合作，去克服生態危機或規範人工智能或其他顛覆性技術，如生物工程等。
從國家領導人的視角來看，許多權力擁有者認為世界是一個叢林，近幾十年來的相對和平則是一種幻覺；唯一實際的選擇是，你是要扮演獵食者，還是被獵殺的角色。
面對這樣的選擇，大多數領導人都想要當獵食者。然而，是時候應該提醒這些領導人，叢林中已經出現了一個新的頂級獵食者。如果人類找不到合作和保護人類共同利益的方法，我們最終都將成為人工智慧手到擒來的獵物。
