矽谷癡迷人工智能末日論2023.04.08
全文共10239字,讀完約需35分鐘

班克曼-弗里德(SBF)垮台後,他高舉的「有效的利他主義」淪為笑柄。但這種最大程度行善的哲學理念,已經融入了一個更廣泛的網絡——它集科技行業的思維、資金、生活模式、狂熱於一身,還有據稱存在的性虐待。

在14歲的時候,約瑟夫(Sonia Joseph)第一次讀到《哈利波特與理性之道》(Harry Potter and the Methods of Rationality,簡稱:HPMOR)。這本廣受歡迎的同人小說,將這位少年巫師重新想象成一位死板的經驗主義者——理性的哈利波特用科學方法檢驗教授的魔法,嘲笑他發現的一切矛盾之處,並在12歲以前解決了所有巫師方面的問題。約瑟夫說:「我喜歡這本書。」她在十幾歲的時候讀了四遍《HPMOR》。她是一個神經多樣性(neurodivergent)、雄心勃勃的印裔美國人,在麻省郊區的高中就讀時感到格格不入。她說,這個故事「對於聰明的局外人非常有吸引力」。

這篇同人小說的作者是尤德考斯基(Eliezer Yudkowsky),搜索他的其他作品為約瑟夫打開了更多大門。自2000年代初以來,尤德考斯基就一直認為,帶有敵意的人工智能(AI)可能在幾十年內毀掉人類。這種信念驅使他成為一個自稱理性主義者社區的知性教父;而這個群體想要保持自己思想的公正性,即使是在結論很可怕的情況下。約瑟夫對理性主義萌生的興趣也讓她被有效的利他主義(effective altruism)所吸引——這是一種與理性主義相關的道德哲學,因為與臭名昭著的加密貨幣前億萬富豪班克曼-弗里德(Sam Bankman-Fried,人稱SBF)扯上關係而聲名狼藉。有效利他主義的核心是強調運用理性思維,對世界產生最有效的正面影響。這些截然不同但又有所重疊的群體在網絡論壇上開始發展,關於AI危險性的帖文變得很常見。他們也集中在灣區,在那裡,他們開始勾勒出一個名為AI安全的研究領域,旨在降低機器殺死我們所有人的可能性。

約瑟夫在2019年獲得神經科學本科學位後不久,就搬到灣區從事AI研究工作。在那裡,她意識到,在網上看起來如此分散的社交場景,實際上要緊密得多。許多理性主義者和自稱為「EA」的有效利他主義者在一起工作,投資彼此的公司,住在共居之家,主要在這個圈子裡社交,有時候會演變成多角關係。在整個社區中,幾乎每個人都以某種方式宣揚自己的標奇立異。約瑟夫發現,這裡的一切都如此自由、令人興奮,就像終於來到了一個現實版的理性主義霍格華茲學院。懷著防止人類滅絕的宏偉目標,她和同事們一起致力於解決她眼中最有吸引力的問題。