2019年5月24日，美國(guó)國(guó)家郵報(bào)主編、奇點(diǎn)大學(xué)教師黛安·弗朗西斯（Diane Francis）在《美國(guó)國(guó)家利益雜志》網(wǎng)站發(fā)文指出，人工智能未來可能會(huì)引發(fā)比核戰(zhàn)爭(zhēng)或全球霍亂更大的危害，并直接將人工智能比作核武器，闡述了美國(guó)在日本曾投擲核武器而引發(fā)的一系列危害和對(duì)人類造成的恐慌，探討了人工智能可能引起的諸多危害現(xiàn)象，指出目前對(duì)人工智能潛在危害的控制還遠(yuǎn)遠(yuǎn)不夠，以引起人們對(duì)人工智能危害防御的高度關(guān)注。

奧本海默和核戰(zhàn)爭(zhēng)

1945年7月16日，當(dāng)?shù)谝活w原子彈被引爆時(shí)，世界便發(fā)生了囧變。物理學(xué)家J.羅伯特·奧本海默當(dāng)時(shí)默默的寫道：“我們知道世界已大不相同。幾人歡笑，幾人愁。而大多數(shù)人都在保持沉默。”

奧本海默便是這顆原子彈--曼哈頓計(jì)劃的開發(fā)者。當(dāng)時(shí)，奧本海默同其科學(xué)家團(tuán)隊(duì)在曼哈頓計(jì)劃上花了四年時(shí)間，以開發(fā)有助于結(jié)束第二次世界大戰(zhàn)的超級(jí)武器。開發(fā)完成的幾周后，兩顆原子彈便降落在了日本的廣島和長(zhǎng)崎，致使這兩座城市遭到了巨大破壞，數(shù)十萬人被殺或致殘。1945年8月17日，奧本海默親自致函當(dāng)時(shí)的美國(guó)國(guó)務(wù)卿，表達(dá)了他的反感，并希望看到核武器被禁止。9月，日本投降。

在戰(zhàn)爭(zhēng)期間，奧本海默被招募成為一名技術(shù)專家為軍方研制這種超級(jí)武器。但他對(duì)研制這種致命性武器的懊悔使得他在后來帶頭游說以實(shí)現(xiàn)對(duì)核武器的國(guó)際控制。他使世界各國(guó)領(lǐng)導(dǎo)人和科學(xué)家都相信，只有通過新成立的聯(lián)合國(guó)才能實(shí)現(xiàn)安全。于是到1957年，國(guó)際原子能機(jī)構(gòu)（IAEA）成立；1970年，189個(gè)國(guó)家簽署了“核不擴(kuò)散條約”（NPT）;從那以后，該條約一直是全球核控制的基石。

奧本海默預(yù)見到了一場(chǎng)核浩劫，并征召了世界上最著名的物理學(xué)家如愛因斯坦、伯特蘭德等，發(fā)起了禁止核武的圣戰(zhàn)。而當(dāng)今的世界需要另外一個(gè)奧本海默，因?yàn)檎绾宋淦鏖_發(fā)速度一樣的新一代變革性技術(shù)開發(fā)正在演進(jìn)，它們將很快會(huì)產(chǎn)生比原子彈更嚴(yán)重的威脅。

人工智能技術(shù)及其危害

人工智能（AI）正是這種快速變革的技術(shù)之一。根據(jù)一些預(yù)測(cè)，由AI驅(qū)動(dòng)的機(jī)器人將比人類更智能，并且能夠在幾年內(nèi)自行開展機(jī)器人設(shè)計(jì)。如果這種情況真的出現(xiàn)，它將比核武或全球霍亂、氣候變化等給人類帶來更大的威脅。

當(dāng)前，很多科學(xué)家一方面在提醒著人工智能技術(shù)可能帶來的危害，另一方面仍在大力發(fā)展該技術(shù)，還沒有誰會(huì)一心一意地去尋求補(bǔ)救措施。全球核不擴(kuò)散條約的簽訂花了25年時(shí)間，而今天對(duì)人工智能危害的控制將花費(fèi)更長(zhǎng)的時(shí)間。核武器的發(fā)展依賴于有限的、可追蹤的資源，并需政府的大量投資，相比可控很多。而人工智能在未來產(chǎn)生的災(zāi)難可能只是一個(gè)瘋狂的計(jì)算機(jī)科學(xué)家便可實(shí)施?；ヂ?lián)網(wǎng)技術(shù)已將人工智能知識(shí)分散到了全球各地，任何個(gè)人都可輕易的獲得制造災(zāi)難的原材料。

當(dāng)今世界變革性技術(shù)的開發(fā)和研究尚未與道德、倫理或安全框架相關(guān)聯(lián)，這可能會(huì)增加災(zāi)難發(fā)生的可能性，無論是故意瀆職還是偶然。目前與控制人工智能危害相關(guān)的行動(dòng)僅停留在重要科學(xué)家簽署的請(qǐng)?jiān)笗凸_信。但這些請(qǐng)?jiān)笗凸_信中的建議并沒有引起全球關(guān)注，也還沒有引發(fā)政治運(yùn)動(dòng)。1975年，關(guān)于DNA重組的阿西洛馬爾會(huì)議產(chǎn)生了關(guān)于生物安全的指導(dǎo)方針，其中包括停止將來自不同生物的DNA結(jié)合起來的實(shí)驗(yàn)。2015年，包括蘋果聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克和傳奇物理學(xué)家斯蒂芬·霍金、伊隆·馬斯克等在內(nèi)的1000多名名人簽署了一份關(guān)于禁止人工智能與核武器融合的公開信，呼吁禁止人工智能戰(zhàn)和自主武器，并最終促成了聯(lián)合國(guó)倡議。今年3月份，聯(lián)合國(guó)秘書長(zhǎng)仍在敦促所有成員國(guó)同意禁令，但到目前為止也只有125個(gè)國(guó)家簽署了該禁令。

2017年，著名哲學(xué)家、牛津大學(xué)人類未來研究所創(chuàng)始主任尼克·博斯特羅姆發(fā)布了一系列人工智能限制，稱為“阿西洛馬爾人工智能準(zhǔn)則”，概述了人工智能的價(jià)值觀、研究限制、道德、安全和風(fēng)險(xiǎn)緩解策略。波士頓未來生命研究所也提出建議：“利用核武器、合成生物學(xué)和未來更強(qiáng)大的人工智能等技術(shù)，做好預(yù)先規(guī)劃，是比從錯(cuò)誤中學(xué)習(xí)經(jīng)驗(yàn)教訓(xùn)更好的一種策略”，建議要提前防范而不要釀成災(zāi)難后再吸取教訓(xùn)。但是無論如何，如果沒有強(qiáng)有力的道德和法律框架預(yù)先約束，這種失誤或教訓(xùn)遲早會(huì)產(chǎn)生。