機(jī)器倫理和機(jī)器人權(quán)利正迅速成為人工智能/機(jī)器人界的熱門話題。我們將爭(zhēng)辯說，試圖讓機(jī)器做出道德決定或享有權(quán)利的嘗試是錯(cuò)誤的。相反，我們?yōu)橹悄苋斯ご硖岢隽艘环N新的安全工程科學(xué)。特別是，我們對(duì)科學(xué)界提出了挑戰(zhàn)，以開發(fā)能夠證明即使在遞歸自我改進(jìn)下它們實(shí)際上也是安全的智能系統(tǒng)。

倫理與智能系統(tǒng)

在過去的十年中，計(jì)算機(jī)科學(xué)的新子領(lǐng)域蓬勃發(fā)展，涉及機(jī)器倫理學(xué)的發(fā)展：

機(jī)器倫理、計(jì)算機(jī)倫理、機(jī)器人倫理、ethicALife、機(jī)器道德、電人倫理、計(jì)算倫理學(xué)、機(jī)器人倫理學(xué)、機(jī)器人權(quán)利、人為道德、只是一些旨在用更先進(jìn)的機(jī)器的安全性來解決社會(huì)問題的提議。但是，由于道德規(guī)范不是普遍的，因此永遠(yuǎn)無法選擇“正確的”道德規(guī)范來代替整個(gè)人類。

人工智能安全工程

即使我們成功地設(shè)計(jì)出能夠通過道德圖靈測(cè)試的機(jī)器，類似人的性能也意味著一些不道德的行為，這在我們?cè)O(shè)計(jì)的機(jī)器中是不可接受的。換句話說，我們不需要機(jī)器來作為全道德代理人來討論是非。我們需要機(jī)器本身具有安全性并遵守法律。

AI安全研究的一個(gè)共同主題是，可以將超級(jí)智能代理保存在密封的硬件中，以防止其對(duì)人類造成傷害。

這種想法起源于諸如EricDrexler之類的科學(xué)遠(yuǎn)見者，他們建議限制超人機(jī)器，以便可以安全地研究和使用其輸出。同樣，未來學(xué)家尼克·博斯特羅姆(NickBostrom)提出了一種OracleAI(OAI)的想法，該想法只能回答問題。

最后，戴維·查默斯(DavidChalmers)在2010年提出了“防漏”奇點(diǎn)的想法。他建議出于安全原因，首先將AI系統(tǒng)限制在模擬虛擬世界中，直到在受控條件下可以完全理解其行為趨勢(shì)為止。

羅馬·揚(yáng)波爾斯基(RomanYampolskiy)提出了AI限制協(xié)議的正式概念，該協(xié)議將“AI-Boxing”表示為計(jì)算機(jī)安全挑戰(zhàn)。他將人工智能限制問題(AICP)定義為將人工智能實(shí)體限制在密閉環(huán)境中的挑戰(zhàn)，如果該信息交換未經(jīng)密閉授權(quán)，則該實(shí)體無法通過合法或秘密渠道與外部環(huán)境交換信息權(quán)威。據(jù)說成功地違反了CP協(xié)議的AI系統(tǒng)已經(jīng)逃脫了。

提議的協(xié)議基于提出帶有受限答案的所謂“安全問題”的想法。一個(gè)安全的問題被定義為一個(gè)人可以根據(jù)自己的優(yōu)點(diǎn)而在沒有任何超級(jí)智能幫助的情況下找到答案的問題。為什么這有用?假設(shè)從事癌癥治療的科學(xué)家正在研究?jī)煞N潛在的治療方法。

每個(gè)人都可以在沒有AI協(xié)助的情況下進(jìn)行開發(fā)和測(cè)試，但是每個(gè)人都需要花費(fèi)大約3年的時(shí)間。如果科學(xué)家認(rèn)為他們有平等的工作機(jī)會(huì)，那么應(yīng)該首先嘗試哪個(gè)?如果選擇了錯(cuò)誤的選項(xiàng)進(jìn)行首先測(cè)試，人類將仍然可以治愈癌癥，但是它將在3年后發(fā)生。如果我們可以要求AI建議先嘗試哪個(gè)選項(xiàng)怎么辦?

這個(gè)問題很安全，原因有很多。首先，每個(gè)可能的答案具有相等的正確概率。其次，人類可以在沒有AI協(xié)助的情況下回答它，因此向AI尋求幫助只會(huì)加快進(jìn)度，而絲毫不會(huì)改變結(jié)果。從本質(zhì)上講，它等于很幸運(yùn)地猜到了多項(xiàng)選擇答案。最后，該問題的答案可以被編碼為單個(gè)位，從而很難在提供的答案中隱藏其他消息。

為了確保潛在問題是安全的，可以使用一組專家進(jìn)行審查。專家們都應(yīng)經(jīng)過培訓(xùn)，經(jīng)過AI安全工程師培訓(xùn)，這意味著他們熟悉AI的設(shè)計(jì)及其限制環(huán)境以及機(jī)器倫理方面的最新發(fā)展。專家可能還需要接受計(jì)算機(jī)心理學(xué)方面的培訓(xùn)，而計(jì)算機(jī)心理學(xué)是目前不存在的專業(yè)，將來可能成為現(xiàn)實(shí)。

現(xiàn)有的一門學(xué)科可能對(duì)AI問題復(fù)習(xí)專家的培訓(xùn)有最大的幫助，這是Artimetrics，這是Yampolskiy等人提出的研究領(lǐng)域。出于安全目的而識(shí)別，分類和認(rèn)證AI代理，機(jī)器人和虛擬現(xiàn)實(shí)的化身。

大挑戰(zhàn)

作為AI安全工程的巨大挑戰(zhàn)，我們提出了為自我完善系統(tǒng)開發(fā)安全機(jī)制的問題。如果人工智能機(jī)器具有與人類工程師一樣的能力來設(shè)計(jì)下一代智能系統(tǒng)，那么重要的是要確保經(jīng)過數(shù)千代持續(xù)不斷的自我完善而無需人工操作，初始設(shè)計(jì)中包含的任何安全機(jī)制仍能正常工作干擾。

理想情況下，每一代自我完善系統(tǒng)都應(yīng)能夠提供可驗(yàn)證的安全性證明，以供外部檢查。允許安全的智能機(jī)器為其自身設(shè)計(jì)一個(gè)固有的不安全升級(jí)將是災(zāi)難性的，從而導(dǎo)致功能更強(qiáng)大，更危險(xiǎn)的系統(tǒng)。

一些人認(rèn)為，這一挑戰(zhàn)要么無法解決，要么如果無法解決，將無法證明所發(fā)現(xiàn)的解決方案是正確的。隨著任何系統(tǒng)的復(fù)雜性增加，設(shè)計(jì)中的錯(cuò)誤數(shù)量會(huì)成比例地增加，甚至可能成倍增加。

自我完善系統(tǒng)(最復(fù)雜的調(diào)試系統(tǒng))中的單個(gè)錯(cuò)誤也將違反所有安全保證。

更糟糕的是，即使是在設(shè)計(jì)完成之后，也可能會(huì)引入缺陷，這可能是由于硬件缺陷引起的隨機(jī)突變，也可能是由于自然事件(例如短路修改了系統(tǒng)的某些組件)而引起的。

AGI研究是不道德的

某些類型的研究，例如人類克隆，對(duì)人類的某些醫(yī)學(xué)或心理實(shí)驗(yàn)，動(dòng)物(大猿類)研究等，被認(rèn)為是不道德的，因?yàn)樗鼈兛赡軙?huì)對(duì)測(cè)試對(duì)象產(chǎn)生不利影響，因此受到法律的禁止或限制。此外，由于這類技術(shù)可能對(duì)人類造成破壞性影響，因此還暫停開發(fā)諸如化學(xué)，生物和核武器等危險(xiǎn)技術(shù)。

同樣，我們認(rèn)為某些類型的人工智能研究屬于危險(xiǎn)技術(shù)類別，應(yīng)加以限制。經(jīng)典的AI研究(其中教會(huì)計(jì)算機(jī)在特定領(lǐng)域自動(dòng)執(zhí)行人類行為，例如郵件分類或拼寫檢查文檔)當(dāng)然是合乎道德的，不會(huì)給人類帶來潛在的風(fēng)險(xiǎn)問題。另一方面，我們認(rèn)為人工通用情報(bào)(AGI)研究應(yīng)該被認(rèn)為是不道德的。從邏輯上講，這是根據(jù)許多觀察得出的。

首先，真正的AGI將具有解決普遍問題和遞歸自我完善的能力。

因此，它們有可能在任何領(lǐng)域都超越人類，從而使人類不必要，從而使其滅絕。

另外，一個(gè)真正的AGI系統(tǒng)可能具有與人類類似的意識(shí)類型，這使機(jī)器人遭受了真正的可能性，并且由于該原因，任何使用AGI的實(shí)驗(yàn)也是不道德的。

我們建議設(shè)立AI研究審查委員會(huì)，類似于醫(yī)學(xué)研究建議審查中所使用的委員會(huì)。人工智能專家團(tuán)隊(duì)?wèi)?yīng)該評(píng)估每個(gè)研究建議，并確定該建議是否屬于標(biāo)準(zhǔn)AI有限域系統(tǒng)之內(nèi)，或者可能導(dǎo)致完全成熟的AGI的發(fā)展。

應(yīng)限制可能導(dǎo)致不受控制的人工通用通用情報(bào)的研究獲得資金或受到全部或部分禁止。對(duì)于專門針對(duì)AGI架構(gòu)的安全措施和控制機(jī)制的開發(fā)，可能會(huì)有例外。

如果允許開發(fā)AGI，那么超級(jí)智能機(jī)器和人之間就會(huì)有直接競(jìng)爭(zhēng)。最終，由于它們的自我完善能力，這些機(jī)器將占主導(dǎo)地位。或者，人們可以決定給機(jī)器供電，因?yàn)闄C(jī)器功能更強(qiáng)，出錯(cuò)的可能性更小。

人類不應(yīng)該將自己的未來交到機(jī)器手中，因?yàn)樗鼘o法奪回動(dòng)力。通常，機(jī)器永遠(yuǎn)不應(yīng)終止人的生命或做出任何其他不重要的有關(guān)人的倫理或道德判斷。

由機(jī)器運(yùn)行的世界將給人類文化，生活方式和人類生存的總體可能性帶來不可預(yù)測(cè)的后果。BillJoy提出的問題：“未來會(huì)需要我們嗎?”今天和以往一樣重要。“我們究竟是要成功還是要失敗，是要生存還是成為這些技術(shù)的受害者，還沒有決定”。

機(jī)器人權(quán)利

最后，我們想談一談機(jī)器倫理的一個(gè)分支，它在表面上與安全無關(guān)，但是據(jù)稱在倫理機(jī)器的決策中發(fā)揮了作用-機(jī)器人權(quán)利(RR)。

RR問我們是否應(yīng)該賦予我們的心靈孩子以社會(huì)賦予人格的人所享有的權(quán)利，特權(quán)和責(zé)任。我們認(rèn)為答案是肯定的“否”。

盡管人類是“平等創(chuàng)造”的，但機(jī)器的設(shè)計(jì)應(yīng)遜色;它們應(yīng)該沒有權(quán)利，并且可以根據(jù)需要消耗掉，使它們作為工具的使用對(duì)創(chuàng)作者更加有利。

我們?cè)谶@個(gè)問題上的觀點(diǎn)很容易辯解，因?yàn)闄C(jī)器不會(huì)感到痛苦(或者更少有爭(zhēng)議的設(shè)計(jì)為不會(huì)感覺到任何東西)，即使機(jī)器被破壞也不會(huì)遭受痛苦。機(jī)器當(dāng)然可以成為我們能力上的平等，但不應(yīng)設(shè)計(jì)為在權(quán)利方面成為我們的平等。授予機(jī)器人權(quán)利將不可避免地導(dǎo)致包括投票權(quán)在內(nèi)的民權(quán)。

鑒于未來幾十年機(jī)器人的預(yù)計(jì)數(shù)量以及復(fù)制潛在智能軟件的簡(jiǎn)便性，一個(gè)由具有投票權(quán)的人工智能成員組成的社會(huì)將很快被它們所控制，從而導(dǎo)致上述各節(jié)中所述的問題。

結(jié)論

我們希望為解決本文提出的問題的未來研究方向提供一些廣泛的建議。首先，研究本身需要從僅理論家和哲學(xué)家感興趣的領(lǐng)域轉(zhuǎn)變?yōu)閷?shí)踐計(jì)算機(jī)科學(xué)家的直接參與。

需要開發(fā)有限的AI系統(tǒng)，以試驗(yàn)非擬人化思維并改善當(dāng)前的安全協(xié)議。

數(shù)十年來，本文提出的問題一直只存在于科幻小說作家和哲學(xué)家的領(lǐng)域。也許通過這種方式，或者是由于像SIAI這樣的組織的倡導(dǎo)，人工智能安全的話題已逐漸開始出現(xiàn)在主流出版物中。我們很高興地報(bào)告，一些初步工作已經(jīng)開始出現(xiàn)在科學(xué)場(chǎng)所，這些研究旨在專門解決AI安全和道德問題，即使僅在人類級(jí)別的智能系統(tǒng)中也是如此。

隨著越來越多的接受，將有可能在許多主流學(xué)術(shù)場(chǎng)所出版，并且我們呼吁這一卷的作者和讀者開始專門研究同行評(píng)審的期刊和會(huì)議，以討論AI安全性研究。隨著發(fā)布場(chǎng)所的普及，更多的科學(xué)家將參與并開發(fā)實(shí)用的算法，并開始進(jìn)行與AI安全性研究直接相關(guān)的實(shí)驗(yàn)。想了解更多關(guān)于人工只能的信息，請(qǐng)繼續(xù)關(guān)注中培偉業(yè)。

這將進(jìn)一步鞏固AI安全工程作為感興趣的主流科學(xué)主題的地位，并將產(chǎn)生一些期待已久的答案。同時(shí)，我們最好假設(shè)AGI可能給人類的生存帶來嚴(yán)重的風(fēng)險(xiǎn)，因此應(yīng)該相應(yīng)地進(jìn)行或不進(jìn)行。