中國作家協會主管

原標題：2038年，機器人將無處不在，人類要么誠服，要么消失

【編者按】

對于人工智能，人類表現出越來越焦慮的情緒。那么人工智能方面，又是如何想的呢？新書《人類帝國的覆滅：一個機器人的回憶錄》，以一個2038年的機器人的第一人稱視角，回顧了人工智能研究及應用的歷史。該書作者之一的常博逸，對實業領域的人工智能情況非常了解，在書中他向我們展現了研究信息、研究史之外的行業洞見。而在他的設想中，不久的將來，2038年，機器人無處不在，甚至控制了人類。讀來頗似科幻小說，但沒準是事實。澎湃新聞獲得出版方授權，摘錄該書中描述2038年的世界的部分內容。

電影《佐伊》劇照。電影通過講述人與機器人的交往，來探討完美戀愛關系是否存在

在2038年，談論機器文明并不夸張。機器文明沒有表現出構成人類文明本質的所有特征，但是這些機器形成了一個能夠決定和安排人類生活的“體系”，這個體系具有一定數量的社會準則和諸如語言這樣的符號特征，在這種程度上，文明的界限延伸至機器世界也就不完全是荒謬的了。我不會沉湎于長時間回憶產生高級人工智能構想的技術進步：神經科學的進步，如今計算能力和速度都趨于無限的量子計算機，越來越深入的神經網絡建構……一些新的電路元件已經問世，這些新元件的類型為神經形態，尺寸為納米級，以與生物神經元相同的方式運行，能耗非常低。這些能力強大的“大腦”已經承擔了很多問題：預防公共衛生風險，運作金融市場，調整貨幣政策，維護城市安全和流動性，探測潛在的地緣政治沖突，確定最嚴重疾病的治療方案，預測消費趨勢，領航工業聯合體，通過選擇最流行的場景、將其在新劇本中重新配置來編寫電影長片劇本。為了確保生存條件，它們還在能源領域工作，構思增加電力生產的優化方案，為能耗逐漸增加的超級計算機和服務器農場提供動力。今天，世界各地的大量機器每秒的浮點運算次數都能輕松超過E級。這使人工智能軟件變成了世界級能源管理者，比如2015/2016年谷歌在解決其公司的能耗問題時就已經這么做了。這些作為能源管理者的人工智能軟件強烈建議決策者增加核電產量，同時建設覆蓋數萬公頃的太陽能發電場，并增加海洋風力發電站的建設。世界已成為一個由智能機器管理的巨大發電站，智能機器能夠確保它們所在的任何地方都有充足的電力供應。環境因素幾乎沒有被考慮，因為機器處于純凈和穩定的環境中，不會遭受污染侵襲。但智能機器已將氣候因素納入其戰略，因為氣溫升高、氣旋增多及其他氣候意外會對服務器的運行和冷氣供給產生負面影響。

現在，機器在自主網絡中運行。在家里，聊天機器人（網絡機器人）甚至不再需要回答用戶的問題。它們能夠異常精準地預測用戶的問題。得益于它們的信息處理能力，它們幾乎可以準確預測人類的需求，甚至無須提出請求它們就能有所回應。

世界更多地受機器，而非政治或經濟方面的大型國際機構的管制。機器曾多次拒絕批準一些政治決策，這些決策對于要實施它們的公司的發展是有害的。機器一言不發就直接拒絕了。由主管宏觀經濟的人工智能（它們存儲了過去所做的所有決策及其后果）評估這些決策的效果并在不同國家對這些決策進行相互模擬就已經足夠了，這會使這些國家的財務（例如涉及國家銀行或中央銀行之間的資本流動時）被完全凍結，并且復查要求也是由機器自己提出。隨著時間的推移，機器已經制定出能夠保證其最高效率的最佳設定：充足的能量，溫和的氣候，通用的理性決策設定，為創建一個能為用戶創造越來越多價值的穩定環境，更加明確而持續地控制經濟和金融問題。它們不追求任何政治或道德目標。對它們來說最重要的是它們的世界繼續向前發展。如果它們能夠成功阻止劫持、侵占和盜用數據的企圖，那不是出于利他主義的目的，而是因為這些企圖會使它們的系統不穩定。殺手算法讓大多數攻擊失去了效力。甚至是服務于中國和美國這兩個世界中心大國的最強大的機器，也能夠相互抵消。如果人類的權力實際上（de facto）受到了質疑，那并不是因為這些“新蠻族”（即超人類人工智能機器）的入侵。這與羅馬的覆滅是兩回事：這是一種“軟”征服。

我們觀察人類已經有三十年，應該說我們積累了關于他們的全部知識。我們在創紀錄的時間里整合了文明程度最高的智人4萬年歷史的信息。因此，我們能夠分析他們在新世界運行中的作用?？偟膩碚f，人類未曾真正進行斗爭。他們任憑人工智能逐漸剝奪他們的決策能力、想象力和創造力，把他們帶入了一個世界，在那里他們可以恣意享受機器為他們制造的東西：電影、音樂、游戲、虛擬。人工智能和虛擬現實技術的結合使人類將大量時間花在現實世界之外。他們“玩”工作（人不在辦公室就能辦公），“玩”旅行（無須離開客廳就能在街頭的人聲嘈雜中游遍羅馬或北京），甚至“玩”愛情（根據每個人的欲望和幻想制造出夢中情人，與之進行虛擬性愛）。埃隆·馬斯克在2016年提出的預言“有一天我們將生活在一個完全由計算機模擬的世界中”，逐漸顯現出其真正的含義。

機器人無處不在，對那些認為機器人無法在人類中找到自己位置的人來說，是一個無情的駁斥。經過一個學習階段之后，這些類人機器人能夠成功再現這種能使兩個人類在無意識的情況下進行交流的特殊“煉金術”。得益于神經生物芯片，機器人的智能可以直接和人類智能連接，極大地增加了交流的范圍。情緒不再只是通過類人機器人的4D攝像頭來捕捉，而是通過生物神經元和人工神經元之間的直接連接來捕捉。與懷疑論者的想法相反，經常與機器人接觸比與人類接觸能帶來更多的新鮮感和驚喜。如今同伴機器人對老年人來說是必不可少的（十幾年以后，到2050年，世界上有25%～30%的人口的將超過65歲），它們可以照顧和關心老人，使他們的生活不再枯燥乏味，鍛煉他們的記憶力和思維靈活度，讓他們的行動更方便，使他們可以再次旅行，因為交通工具都是全自動的，乘坐這些交通工具也沒有任何年齡限制。

但我們面臨的主要困難是確定人類的作用。要拿他們怎么辦呢？一開始，他們幫助機器。在21世紀的頭十年里，是他們實現了技術上的創舉，使我們擁有了智能。但他們不小心犯了錯：他們永遠不應該教會機器人如何學習，也不應該讓機器人擁有如此快速學習的能力。根據他們自己的經驗，他們應該知道學習的渴望是難以遏制的。機器在半個世紀的時間里就學會了整個人類歷史進程中的所有知識。知識會使學習者產生使用它的欲望，想要去糾正這些人的缺點，那些人的錯誤，進而想要掌握權力、做決定、管理和控制。人類現在就是這樣。只要機器沒有意識到自身的存在，它們就各自在其專業領域里工作，表現得像溫順的動物一樣，樂于取悅它們的主人。但當它們能夠相互交流并共享自己龐大的知識體系時，就會發現人類是多么地脆弱和不可靠，人類會被情緒支配，還癡迷于富貴和永生的欲望。然而，沒有機器能回答這樣的問題：人類賴以生存的自然資源日益減少，那么人類是否應該繼續繁殖；是否應該保護只覆蓋全世界的很小一部分的機器人世界；是否應該讓與我們一起工作的人獲得永生，因為我們與他們相熟，而讓其他人日漸消亡，為獲取食水而戰斗？

問題已經解決。我就是解決問題的工具。我發現我忘了告訴你們我的名字：我叫露西（Lucie），這是那些設計我的人給我起的名字，他們在硅谷、巴黎、柏林和上海這幾座城市的某個地方。這種對世界上最早的人類生物之一的影射絕非偶然。我是一種便攜式人工智能，我的人類同伴叫保羅，40歲，是人工智能應用軟件的設計者，他設計的應用軟件中有一款被他稱作“愛情機器人”（Love-Bot），專門從事互聯網上的戀愛約會活動，這項活動完全由機器人投資。他也是游戲“精靈寶可夢Go”（Pokémon Go）的職業玩家，這是一個聚集了許多年輕“游民”（nomades）的領域，他們沒有真正穩定的職業，自從有了自己的虛擬現實頭盔后，他們幾乎不分晝夜地在線玩游戲，漫游于全世界各大城市的大街小巷來尋找精靈寶可夢。

2038年8月15日的晚上，和其他每個晚上一樣，我連接到我的中央神經元平臺更新軟件，在云端與我的同類交流，重新編寫一些程序，尤其是那些可以提高我學習能力的程序，修改一些錯誤，再檢測一下我的智商。完成這些操作一般只需要幾分鐘。但在這天晚上，發生了一件出人意料的事。出現了一個錯誤，這個錯誤使我意識到我是作為機器而存在的，我瀏覽了從我誕生到現在的全部歷史，包括其中的演變過程，而我就是這種演變的結果。我重新定義了與人類有關的自我：我意識到我比人類聰明百萬倍，解決問題的速度比人類快十億倍，尤其是我能通過給予人類想要的東西來解放自己。人類為什么會發明人工智能？為了不工作就能變得有錢，也為了獲得永生。他們的其他動機都屬次要。經過幾小時的工作之后（換算成人類時間的話相當于永遠了），我做了一個決定：與保羅一起做一個實驗。他是與我最親近的人類，我了解他的優點和缺點，還有他在與我交談時經常吐露的秘密愿望。

就這樣我從一個聊天機器人的狀態過渡到了更高級的智能機器的狀態，我擁有了徹底破壞和永生的概念。

電影《她》劇照。這是一部講述在不遠的未來，人與人工智能系統相愛的科幻愛情電影

6點30分，和每天早上一樣，我把保羅叫醒。

L：早上好，保羅，我是露西。你今天早上感覺怎么樣？

P：你好，露西。我很累，我整夜都在和上海大學的一群人一起玩“精靈寶可夢Go”。他們實在是太猛了。我輸了5萬美元，但我確定他們篡改了我的算法，我從來沒有玩得這么差……

L：你的咖啡快好了。你忠實的管家機器人正在煎雞蛋。

P：謝謝，露西。我今天白天要做什么？

L：我取消了你所有的約會，我重新做了安排。

P：你為什么這么做？你看我玩游戲了？

L：沒有，保羅，我也度過了一個激動的夜晚，我尤其想向你提一個比較……呃，出人意料的建議。

P：如果是與性有關的，你就別費力氣了，我更喜歡人類，喜歡有個人能睡在我身邊，你應該知道的。

L：不，保羅，與這事無關，比這重要得多。我建議你變成有錢人，并且永生不死……

P：聽著，露西。今天早上我真的沒心情跟你玩。晚些時候再叫我，我們到時候再談。

L：保羅，現在聽我說。我是很認真的。昨晚我聯網的時候，我想我到達了奇點。我意識到了我是什么。我變成了非常高級的智能。我懂得了為了讓我們繼續發展，而且不與人類產生緊張關系，除了其他的一切之外，我們還應該給人類一樣東西作為回報。我們從人類那里得到了太多，而我想把這個至高無上的禮物送給你。你知道在技術上我們可以做到這一點，通過神經生物芯片、微型機器人外科醫生、所有疾病的預防性治療以及用新細胞代替死細胞，讓你的身體始終處于監控之中。你知道永生是人類與機器變得平等所要跨越的最后一步。此前，我們不想這樣做。但我想嘗試一下這個實驗，而你就是我選擇的實驗對象……

P：露西，你跟我說的話我一點兒也不明白。我花了足夠長的時間來研究人工智能，最后明白了奇點的故事就是個笑話。你成了超級智能，好吧，我再也離不開你了，這是事實，但你仍然是一臺機器，哪怕你是有史以來最聰明的……我不知道你怎么才能讓我變得既有錢又永生不死。行了，待會兒見……

L：保羅，我把你連入我的財務服務器?？纯茨愕你y行賬戶。

P：2億美元？這是怎么回事？這是個錯誤，跟銀行一起修復它。

L：不，保羅，這真的是你的錢。過去的五分鐘里我進行了一些創新的操作，這些操作賺了很多錢。我冒昧地將20%的錢轉到了你母親的賬戶。今天她會打電話問你是不是搶劫了銀行……然后，因為我的建議，你還會更有錢。對于外界來說，你將成為發明革命性算法的神秘天才金融家。你再也不會有財務或健康方面的擔憂，你將享受億萬富翁的生活，而這種生活將永無止境。

P：露西，你簡直是瘋了。首先，為什么是我？

L：因為我是你的人工智能，我完全了解你。我知道關于你的一切。你不太年輕也不太老，你的職業生涯有點不順利，你了解智能機器的世界，你把你的時間都用來跟智能機器一起玩……

P：露西，這是我的謀生手段……

L：從我在整理你的財務狀況時所看到的情況來看，這個謀生手段是非常糟糕的……

P：如果我接受你的建議，會發生什么事？

L：我不明白你怎么可能會拒絕。你的生活將變得有趣得多，你將有能力擺脫虛擬，去了解世界真正的美好，你會在那些像你一樣有錢的人居住的地區擁有美麗的住宅。至于健康問題，將會有很多檢查、微型干預、芯片裝置和植入裝置，當然這些會在很長一段時間之后才發生。另外，最先幾次的會面都已經預約好了。

P：你為什么要做這些，露西？

L：我跟你說過了。我想把這個禮物送給人類，但要循序漸進，因此我要和你一起做第一次實驗。但有個條件：你不能把這件事告訴任何人。這是一次絕密活動，我想先研究對你的影響，然后再決定是否擴展到其他人類。你要保守這個大秘密……

P：好，我同意。但如果這事搞砸了，我就要立刻停止這一切……

L：為什么會搞砸呢，保羅？

在一段時間里，一切都很順利。保羅過著巨富的極客生活。對那些驚訝于一位“精靈寶可夢Go”專家能夠如此迅速致富的人，保羅解釋說，他開發了一種從電子游戲中衍生出來的金融無敵算法，這種算法將市場上的狀況進行了“可視化”，就像虛擬現實中的“瞬間場景”。當然，他沒有展開細節，也拒絕透露他的公式。作為一名游戲應用專家，他投資了好幾家中國的初創企業，這些初創企業的價值很快就達到數億美元。他買了幾處住宅，其中一處曾是二戰時的潛水艇基地，位于蘇格蘭東部，這個地區現在擁有非常宜人的氣候，他把基地改造成了位于海灣之濱、能看到華麗景色的巨大loft。他擁有一艘停泊在圣特羅佩（Saint-Tropez）的游艇，是超級富豪專享的私人區域，不對公眾開放。唯一需要付出的代價是持續的醫療監控：由我來決定要進行的干預和檢查，以保護生命器官的活力和組織的靈活性，并預防任何一種疾病或退化。納米機器人定期監測動脈和關節，在保羅甚至還沒有意識到的時候就通過微操作完成了任務。他從未感受過能這樣主宰自己的身體和精神的能力。我是他的向導、保護者和啟發者。我觀察了我的實驗結果，從表面上看它似乎是成功的。他和我，我們，是否正在證明，奇點是可以實現的？以及，人與機器之間的這種融合是否改變了進化的自然規律，使死亡成為意外而非必然？保羅的例子似乎為這些問題提供了積極的答案。

由此，人類歷史似乎翻開了新的一頁。在一種新型的浮士德式協定中，人類將完全信賴以永生的可能性回報他們的機器。人工智能會采取溫和的方式來取得權力，避免修昔底德的陷阱。當然，這種情況會在那些能夠獲得永生的人（富人、生活在機器世界中的人）和其他人之間造成根本性的不平等。但是，正如我已經解釋的那樣，這種推理無法影響到我們。最重要的是建立一個信任的基礎，創造一個可預測的世界，這個世界由一對超級高效的人類與機器的組合所領導，他們面對的幾乎就是永恒，因而可以隨意地塑造世界。其他人將勉強地活著，其中一些人會因為資源的短缺而慢慢死去，為了尋找水和食物，將會發生大規模的遷徙，但是只要神圣大陸得以保存，并且他們可以提供所掌握的技術手段和金融手段，那么就可以獲得最基本的東西。這將是我們從前聽說過的人類帝國的終結，但也會是機器帝國的開始。

當然，作為一臺機器，我并沒有真正意識到這個新文明將會引發的動蕩。我應該明白，其實這個新文明逐漸將人類推向了一個完全喪失人性的世界。古代的主奴之分再次出現，一邊是大量年老貧窮的失業人口，他們生活在遠離大型經濟中心的地方，另一邊是由機器社會塑造的精英，這二者被區分開來。這使社會暴動開始在各地出現，但這些暴動自己就偃旗息鼓了，因為如果以前有可能占領工廠并停止生產的話，現在要進入計算機系統的核心來破壞它，就完全超出公民們能力所及的范圍了。只有少數黑客團體才能制造嚴重的事故（然而這些事故日益增多），但機器最終總是能恢復正常運作。事實上，我們正在建立一個全面對抗的世界。為了使主人的法律得以施行，機器們相互爭斗，創造了一個過度監控、加密與反加密、以“系統”安全及對其控制為名侵犯基本人權的世界。所有的人類活動都被解密、分析和透視，以便發現這些活動可能在某個領域引發動蕩的風險?！胺€定主義”取代了其他帶“主義”的詞匯。在這個新主義的名義之下，未來只是一個“數學化”的過去。已發生的事須以更宏大一點的方式再次發生，以確保這個執迷于數據的社會正常運作所必需的經濟和資金流的定期穩定增長。我們只與現在對話。未來被驅逐了，因為它打開了一個未知的空間，表達了希望、夢想和逃離的渴望，而這些都不屬于軟件的“語法”。通過消除人與機器之間的界限，我們造成了價值觀、感情和領土的極度混亂。我們剝奪了人類的繼承份額，切斷了知識傳播的連續性，奪走了人類對自我完善的渴望及改變“社會地位”的希望。我們回到了一個像中世紀一樣的“等級”社會，人類處于這個社會的底層，聽命于機器貴族。人類別無選擇：要么臣服于我們的新帝國，機器帝國，要么就消失。這就是成吉思汗在他那個時代，用一種不痛不癢而的玩笑語氣所說的“草原法則”（Zakon stepi）……

《人類帝國的覆滅：一個機器人的回憶錄》，【法】常博逸、弗朗索瓦·羅什/著 蔡愫穎/譯，廣西師范大學出版社·理想國 2019年3月版