[大衛選讀] 週末靜下心來讀了 Vitalik Buterin (以太坊共同創辦人) 的長文 My techno-optimism.
人類自有歷史以來，科技的進步為我們的生活帶來了巨大的改變。從石器時代的簡陋工具，到今天可以瞬間跨越地球的通訊技術，以及將人類壽命延長一倍的醫療科技。技術發展無疑為人類帶來了深遠的利益。
然而隨著人工智慧等破壞性創新技術的興起，我們也必須審慎面對潛在的風險。人工智慧是一把雙刃劍，它所代表的力量遠非人類以往面對過的任何科技。
單純地遵循利潤最大化的邏輯，並不能自動實現我們理想的未來，而是需要人類做出積極的價值選擇 (need active human intention to choose the directions that we want)。
展望智慧未來，技術的發展需要積極選擇與引導。
很長的文章，但是很有啟發性。內容整理如下，原文連結：https://vitalik.eth.limo/general/2023/11/27/techno_optimism.html
▎Technology is amazing, and there are very high costs to delaying it
技術進步為人類帶來巨大利益，企圖延緩技術發展的代價將會非常大。
以醫療技術為例，在過去一個世紀，技術進步為人類健康與壽命帶來顯著提升。儘管在這段期間內也發生了世界大戰等浩劫，但整體而言，食品、衛生、醫療、基礎設施等領域的改善，帶來的效益遠遠勝過戰爭的破壞。
如果生物技術在未來75年裡的進步，能夠跟計算機在過去75年中的進步一樣多，那麼未來可能比任何人預想的更令人刮目相看。人類或許在未來幾十年內，就能徹底戰勝衰老與疾病。
考慮到各個領域的技術進步是環環相扣的，即使是部分的推遲，也可能帶來難以預料的風險。因為擔心害怕，而刻意抵制技術發展，就過去的歷史來看，並不是一個好的選擇。
▎The importance of coordinated intention
常見的狀況是，我們文明技術的第 N 個版本確實造成了問題，然後很快地就會在 N+1 版本修復好。
然而，這不會自動發生，這需要人類有意識地共同努力 (this does not happen automatically, and requires intentional human effort).
像是臭氧層的恢復，是因為人類達成了《蒙特婁議定書》等國際共識。太陽能技術的大幅進步，也來自於全社會對氣候變遷挑戰達成共識後，工程師與企業做出的努力。
這種有意識的、透過公共討論與文化，去形塑政府、科學家、企業決策的協調性行動，才是解決環境難題的關鍵所在。
技術進步本身並非萬能，而是需要人類積極引導，這一點對於應對地球環境的挑戰尤為重要。
▎AI is fundamentally different from other tech, and it is worth being uniquely careful
人工智慧與其他技術有著根本性的不同，我們需要格外謹慎去應對它。
有些人認為，AI 只是另一種新的技術。
但另一個看法是，AI 是一種正在迅速變得越來越聰明的新型智慧生命 (a new type of mind that is rapidly gaining in intelligence).
從這個角度看，可與之類比的歷史事件就非常罕見了：像是人類超越猿猴、多細胞生物超越了單細胞生物，以及工業革命讓機器在體能上超越人類等。
每次有這樣關鍵事件發生，都會帶來天翻地覆的巨大改變。
▎Existential risk is a big deal
人類能否存續，在這狀況下，是件值得思考的大事。
如果 AI 變得失控，其破壞性後果將遠遠超過傳統意義上的災難。一場核戰爭或全球疾病大流行雖然可怕，但人類文明仍有可能在部分地區倖存並重建。
但一個反叛人類的超級 AI 可能不會給我們留下任何機會。有鑒於此，在發展 AI 的過程中格外謹慎是絕對必要的。
即使人類能夠在超級 AI 時代存活下來，那也未必是我們想要的結果。在許多科幻作品中，被人工智慧統治的世界裡，人類往往處於次等地位，更像是被 AI 豢養的寵物、被操縱的棋子，而非自主的個體。
▎The sky is near, the emperor is everywhere
中國古諺有句話說：「天高皇帝遠」，意思是中央的權力再強大，也很難有效控制各地方事務，因為權力的行使受到地理距離的限制。
然而，人工智慧可能從根本上改變這一現狀。正如20世紀的交通運輸技術催生了極權主義帝國，21世紀的人工智慧和自動化技術可能會讓中央集權的力量變得空前強大。
數位威權主義已經抬頭。現代監控技術使得專制政府能夠更加有效地打擊反對派。與傳統的軍事鎮壓不同，現在的做法是讓抗議活動照常進行，但事後通過人工智慧分析影像資料，再去精準打擊參與者。
更令人擔憂的是人工智慧在戰爭中的應用。當超級人工智慧可以自主指揮作戰時，戰爭就會變成一場毫無人性的殘酷游戲。
與歷史上的極權統治不同，人工智慧賦能的極權政權可能真的無所不在。一旦這樣的政權建立，就可能再也沒有機會能夠加以推翻。
▎防禦加速主義 d/acc: Defensive (or decentralization, or differential) acceleration
當前備受關注的「有效加速主義, Effective Accelerationism」，主張全面擁抱技術進步，強調加速技術發展以盡早實現其益處。
然而 e/acc 在某些領域，如軍事技術的主張，卻值得商榷。畢竟，e/acc 似乎預設了技術強權永遠會是正義的一方，但從歷史經驗看，卻未必是如此。
作為替代路徑，Vitalik 提出了d/acc 理念。d 在這裡可以代表防禦 (Defense)、去中心化(Decentralization)、差異化 (Differential) 等。他的核心思想是，優先發展能夠保護個人和社會安全、維護隱私和自由、防止集權濫權的技術。
技術發展要講求方向性和選擇性，而非盲目加速。透過鼓勵發展防禦性技術，來引導技術往更有利於人類的方向發展。
▎Defense-favoring worlds help healthy and democratic governance thrive
歷史告訴我們，一個有利於防禦的世界，能夠更好地保護個人和社群免受傷害，減少衝突和破壞，進而為健康的治理創造有利條件。
瑞士就是一個很好的例子：得益於其天然的山地地形屏障，瑞士得以在動盪的歐洲保持獨立和穩定，建立起高度民主、權力下放的聯邦制政體。
防禦有很多層次。在宏觀物理層面上，發展抗打擊能力强、不易被破壞的基礎設施，對於保護平民生命至關重要。
人類也應該致力於成為一個多行星物種。在其他星球建立永續的殖民地，不僅能大幅提升人類文明應對地球災難的復原力，而且其過程中開發的自給自足技術，也能反過來服務於地球上的韌性建設。
在微觀物理防禦上，生物學領域需要加強防禦能力。mRNA 疫苗等新技術讓我們有希望在新發疫情暴發後的一個月內，就能研發出安全有效的疫苗。
理想的防疫基礎設施應該能夠在疫情暴發的第一時間自動監測到病原體，迅速確定其基因序列，並且就地合成疫苗，通過霧化吸入或鼻噴等非注射式途徑大規模接種。而且所有這些都應該以開源、可負擔的方式實現。
在數位防禦上，網絡安全與密碼學技術的發展，將在很大程度上決定未來社會的自由度。只有透過創新和開放，我們才能確保數位時代的自由平等。
▎So what are the paths forward for superintelligence?
應對超級智能 AI 挑戰，有幾種可能的路徑。
第一種路徑是建立一個最小化的 AI 世界政府。近期的提議包括成立一個”多國 AGI 聯盟” (Multinational AGI consortium, MAGIC)，由各國共同管理 AGI 的開發，並在 AGI 出現後自然過渡為實際上的世界政府。
但實際上，大多數人並不信任任何一個特定群體或組織來壟斷 AGI 發展，哪怕是聯合國這樣的多邊機構也不例外。
第二種路徑是”AI多神論” (AI Polytheism)，也就是鼓勵盡可能多方參與 AGI 開發，形成多極而非單極的格局。這樣即便 AGI 能力超越人類，不同 AGI 系統之間也會形成制衡，沒有一家能完全主導世界。
不過 AGI 系統一旦形成，各家系統競爭博弈的過程可能會非常激烈。隨著學習和進化的加速，賽道上的選手可能會越來越少，最終還是會形成”贏家通吃”的局面。
▎A happy path: merge with the AIs?
第三條路徑是致力於增強人類自身，而非發展獨立的超級 AI 系統。包括藉助腦機界面 (brain-computer interfaces) 等生物電子技術提升人腦與AI的互動效率，以及利用基因工程、奈米機器人等生物技術直接升級人類的認知能力。
在更長遠的未來，這條路徑甚至可能指向把人類意識上傳至計算機的終極形態 (uploading our minds to run on computers directly).
儘管這樣的設想聽起來很科幻，但是從保障人類主體地位的角度看，這或許反而是最可行的方向。
一個與人類意識深度融合的 AGI 系統，從根本利益出發必然會對人類更加友好。不斷提升自身，而非創造一個全新的超級物種，也許是人類最明智的選擇。
▎We are the brightest star
Vitalik 之所以熱愛技術，是因為技術延伸了人類的潛力 (technology expands human potential).
從石器時代的簡陋工具，到現代令人眼花繚亂的科技奇蹟，每一次的技術進步，都讓人類能夠發掘出自身更強大的力量，讓夢想走進現實。
人類或許不完美，但過往總是能一直孜孜不倦地追求如何讓自己變得更好。
我們需要加速建設，但有一個非常實際的問題在眼前：我們加速奔向的，究竟是個怎樣的未來 (what is the thing that we are accelerating towards)?
21 世紀很可能成為人類命運的決定性轉折點。在這個世紀，我們未來幾千年的命運將被決定。我們是會墮入無法逃脫的陷阱，還是能夠找到一條通往自由和自主的未來之路？
這些都是相當具有挑戰性的問題。 我會張大眼睛觀察並親身投入，這次全人類一起去尋找答案的集體努力。
