一場搶劫案后，格雷的妻子喪生，自己也全身癱瘓。他接受了一個天才科學家的“升級”改造治療——在他身體里植入了人工智能程序STEM，獲得了超強的能力，從一個“殘廢”直接升級成為職業(yè)殺手。隨著STEM的進化升級，步步緊逼格雷交出身體使用權和大腦意識控制權……

本年度關于人工智能和人類未來的最佳影片，不少人認為非《升級》莫屬。而人工智能和人類抗衡的探討，是科幻電影中的永恒話題，從《銀翼殺手》到《機械姬》，再到今年的低成本電影《升級》，都映射出未來人工智能對人類的威脅。

黑產(chǎn)超正規(guī)行業(yè) 惡意源于人類基因

AI造反，是科幻電影里太常見的橋段。問題在于，現(xiàn)實當中真正的AI好像也在一步步向我們走來。不少人抱有憂慮和不安，人工智能會“作惡”嗎?

傾向于AI威脅論的人并不在少數(shù)。馬斯克曾在推特上表示：“我們要非常小心人工智能，它可能比核武器更危險。”史蒂芬·霍金也說：“人工智能可能是一個‘真正的危險’。機器人可能會找到改進自己的辦法，而這些改進并不總是會造福人類。”

“任何技術都是一把雙刃劍，都有可能用于作惡，為什么人工智能作惡會引起這么大的反響?”在近日召開的2018中國計算機大會的分論壇上，哈爾濱工業(yè)大學長聘教授鄔向前拋出了問題，人工智能研究的底線到底在哪里?

早在1942年，阿西莫夫就提出了機器人三定律。但問題在于，這些科幻書中美好的定律，執(zhí)行時會遇到很大的問題。

“一臺計算機里跑什么樣的程序，取決于這個程序是誰寫的。”360集團技術總裁、首席安全官譚曉生說，機器人的定律可靠與否，首先是由人定義的，然后由機器去存儲、執(zhí)行。

值得注意的是，“不作惡”已成科技行業(yè)的一個技術原則。那么，機器人作惡，惡意到底從何而來?

如今人工智能發(fā)展的如火如荼，最早擁抱AI的卻是黑產(chǎn)群體，包括用AI的方法來突破驗證碼，去黑一些賬戶。譚曉生笑言：“2016年中國黑產(chǎn)的收入已超過一千億，整個黑產(chǎn)比我們掙的錢還要多，它怎么會沒有動機呢?”

“AI作惡的實質，是人類在作惡。”北京大學法學院教授張平認為，AI不過是一個工具，如果有人拿著AI去作惡，那就應該制裁AI背后的人，比如AI的研發(fā)人員、控制者、擁有者或是使用者。當AI在出現(xiàn)損害人類、損害公共利益和市場規(guī)則的“惡”表現(xiàn)時，法律就要出來規(guī)制了。

目前，無人駕駛和機器人手術時引發(fā)的事故，以及大數(shù)據(jù)分析時的泛濫和失控時有耳聞。那么，人工智能會進化到人類不可控嗎?屆時AI作惡，人類還能招架的住嗎?

任務驅動型AI 還犯不了“反人類罪”

值得關注的是，霍金在其最后的著作中向人類發(fā)出警告，“人工智能的短期影響取決于誰來控制它，長期影響則取決于它能否被控制。”言下之意，人工智能真正的風險不是惡意，而是能力。

“人工智能未來的發(fā)展會威脅到人類的生存，這不是杞人憂天，確實會有很大的風險，雖說不是一定會發(fā)生，但是有很大的概率會發(fā)生。”在譚曉生看來，人類不會被滅亡，不管人工智能如何進化，總會有漏洞，黑客們恰恰會在極端的情況下找到一種方法把這個系統(tǒng)完全摧毀。

對此，上海交通大學電子系特別研究員倪冰冰持樂觀態(tài)度。“我們目前大部分的AI技術是任務驅動型，AI的功能輸出、輸入都是研究者、工程師事先規(guī)定好的。”倪冰冰解釋說，絕大多數(shù)的AI技術遠遠不具備反人類的能力，至少目前不用擔心。

張平表示，當AI發(fā)展到強人工智能階段時，機器自動化的能力提高了，它能夠自我學習、自我升級，會擁有很強大的功能。比如人的大腦和計算機無法比擬時，這樣的強人工智能就會對我們構成威脅。

“人類給AI注入什么樣的智慧和價值觀至關重要，但若AI達到了人類無法控制的頂級作惡——‘反人類罪’，就要按照現(xiàn)行人類法律進行處理。”張平說，除了法律之外，還需有立即“處死”這類AI的機制，及時制止其對人類造成的更大傷害。“這要求在AI研發(fā)中必須考慮‘一鍵癱瘓’的技術處理，如果這樣的技術預設做不到，這類AI就該停止投資與研發(fā)，像人類對待毒品般全球誅之。”

作惡案底漸增 預防機制要跟上

事實上，人們的擔憂并非空穴來風。人工智能作惡的事件早在前兩年就初見端倪，比如職場偏見、政治操縱、種族歧視等。此前，德國也曾發(fā)生人工智能機器人把管理人員殺死在流水線的事件。

可以預見，AI作惡的案例會日漸增多，人類又該如何應對?

“如果我們把AI當作工具、產(chǎn)品，從法律上來說應該有一種預防的功能。科學家要從道德的約束、技術標準的角度來進行價值觀的干預。”張平強調，研發(fā)人員不能給AI灌輸錯誤的價值觀。畢竟，對于技術的發(fā)展，從來都是先發(fā)展再有法律約束。

在倪冰冰看來，目前不管是AI算法還是技術，都是人類在進行操控，我們總歸有一些很強的控制手段，控制AI在最高層次上不會對人產(chǎn)生一些負面影響。“如果沒有這樣一個操控或者后門的話，那意味著不是AI在作惡，而是發(fā)明這個AI工具的人在作惡。”

凡是技術，就會有兩面性。為什么我們會覺得人工智能的作惡讓人更加恐懼?與會專家直言，是因為AI的不可控性，在黑箱的情況下，人對不可控東西的恐懼感更加強烈。

目前最火的領域——“深度學習”就是如此，行業(yè)者將其戲謔地稱為“當代煉金術”，輸入各類數(shù)據(jù)訓練AI，“煉”出一堆我們也不知道為啥會成這樣的玩意兒。人類能信任自己都無法理解的決策對象嗎?

顯然，技術開發(fā)的邊界有必要明晰，比爾·蓋茨也表示擔憂。他認為，現(xiàn)階段人類除了要進一步發(fā)展AI技術，同時也應該開始處理AI造成的風險。然而，“這些人中的大多數(shù)都沒有研究AI風險，只是在不斷加速AI發(fā)展。”

業(yè)界專家呼吁，我們必須清楚地知道人工智能會做出什么樣的決策，對人工智能的應用范圍和應用結果的預期，一定要有約束。

AI會不會進化，未來可能會形成一個AI社會嗎?“AI也許會為了爭取資源來消滅人類，這完全有可能，所以我們還是要重視AI作惡的程度和風險。”現(xiàn)場一位嘉賓建議，我們現(xiàn)在要根據(jù)人工智能的不同階段，比如弱智能、強智能和超智能，明確哪些人工智能應該研究，哪些應該謹慎研究，而哪些又是絕對不能研究的。

如何防范AI在極速前進的道路上跑偏?“要從技術、法律、道德、自律等多方面預防。”張平說，AI研發(fā)首先考慮道德約束，在人類不可預見其后果的情況下，研發(fā)應當慎重。同時，還需從法律上進行規(guī)制，比如聯(lián)合建立國際秩序，就像原子彈一樣，不能任其無限制地發(fā)展。

關鍵詞：