近年來，研究人員一直試圖通過開發(fā)能夠解釋他們的行為和行為的算法來使人工智能(A I)更加透明，因?yàn)檫@可以鼓勵(lì)對機(jī)器的更大信任，并增強(qiáng)人與人工智能的相互作用.. 盡管他們做出了努力，但迄今很少有研究明確地評(píng)估人工智能解釋對涉及人類-人工智能協(xié)作的任務(wù)所取得績效的影響。

為了解決現(xiàn)有文獻(xiàn)中的這一差距，SRI國際的一個(gè)研究團(tuán)隊(duì)創(chuàng)建了一個(gè)由流行游戲20問題(20Q)啟發(fā)的人-AI圖像猜測游戲，該游戲可用于評(píng)估機(jī)器解釋的有用性。 他們的論文最近發(fā)表在ar Xiv上，是第一批探索開發(fā)更多“可探索”人工智能的效果的論文之一。

進(jìn)行這項(xiàng)研究的SRI國際計(jì)算機(jī)科學(xué)家Arijit Ray告訴Tech Xolore說：“這個(gè)想法是在我們進(jìn)行DARPA項(xiàng)目時(shí)提出的?！?“在這個(gè)項(xiàng)目中，我們正在開發(fā)可解釋的人工智能系統(tǒng)，它不僅產(chǎn)生所需的產(chǎn)出(例如。 對象檢測、問題答案等) 但也解釋了他們是如何達(dá)到這一產(chǎn)出的。 我們需要一個(gè)機(jī)制來評(píng)估AIS提供的額外解釋是否對用戶更好地理解人工智能系統(tǒng)有用。 為此，我們創(chuàng)建了一個(gè)交互式的人工智能協(xié)作任務(wù)，解釋輔助猜測哪(ExAG)，這是著名的20Q游戲的改編，以證明我們正在開發(fā)的各種機(jī)器解釋技術(shù)的有效性?！?/p>

雷和他的同事開發(fā)的圖像猜測游戲非常類似于流行的游戲20問題，通常涉及兩個(gè)玩家。 在20Q，一個(gè)玩家思考某件事，第二個(gè)玩家試圖通過問20個(gè)封閉的問題來猜測它是什么（即只能用“是”或“否”回答的問題）。

在ExAG中，雷和他的同事設(shè)計(jì)的游戲的改編，一個(gè)用戶被顯示了五幅圖像，其中一幅被人工智能系統(tǒng)選擇為“秘密圖像”。 從本質(zhì)上講，用戶需要通過詢問自然語言中的問題，找出他/她看到的圖片中的哪一幅是“秘密圖像”。

與傳統(tǒng)的20Q游戲不同，在ExAG中，人類用戶可以同時(shí)提出封閉和開放式的問題。 例如，他們可以問‘圖像中有什么？’‘圖像被帶到哪里了？’ 等等。 人工智能系統(tǒng)每次回答一個(gè)用戶的問題，并可以選擇性地解釋其答案。

根據(jù)這些答案，用戶將嘗試猜測人工智能最初選擇的圖像。 游戲的總體目標(biāo)是通過盡可能少的問題來正確識(shí)別“秘密形象”。

雷解釋說：“人工智能系統(tǒng)提供了視覺和文本兩種解釋模式?！?“對于視覺解釋，人工智能系統(tǒng)生成熱圖，突出顯示支持其答案的區(qū)域。 例如，如果用戶詢問圖像中的內(nèi)容，并且它看起來像一只狗，人工智能將突出顯示狗區(qū)域，并說這就是導(dǎo)致答案“它是一只狗”的原因。 對于文本解釋，另一方面，AI系統(tǒng)為每個(gè)圖像提供相關(guān)問題的答案。 因此，如果你問一個(gè)人在做什么，答案是沖浪，例如，它也會(huì)回答相關(guān)的問題，比如‘我在圖像中看到了什么？ 沖浪者。 ”“那張照片是在哪兒拍的？ 海灘。

由于圖像猜測游戲的性質(zhì)，人工智能提供的答案和解釋的質(zhì)量可以顯著影響人類用戶的成功和性能。 值得注意的是，目前最先進(jìn)的視覺問答性能約為65%，這意味著人工智能系統(tǒng)生成正確答案的時(shí)間為65%。

雷和他的同事觀察到，用戶通常通過利用AIS解釋在ExAG中取得成功，特別是當(dāng)答案本身是錯(cuò)誤的時(shí)候。 例如，如果“秘密圖像”描繪了一只狗，但人工智能回答“它是一個(gè)沖浪者”，一個(gè)視覺解釋可以幫助人類用戶意識(shí)到人工智能的錯(cuò)誤。 研究人員認(rèn)為，這證明了他們的游戲是評(píng)估人工智能解釋的幫助性的合適工具。

雷說：“在我看來，我們研究的最有趣的結(jié)果是，當(dāng)人工智能的答案大多是錯(cuò)誤的時(shí)候，用戶只用幾個(gè)很好的解釋來贏得游戲?！?相比之下，對于答案準(zhǔn)確性相似但沒有解釋的游戲，用戶盲目信任人工智能生成的答案，就會(huì)失去游戲。 這就支持了對人類-人工智能協(xié)作系統(tǒng)甚至有幾個(gè)很好的解釋的重要性，特別是在人工智能系統(tǒng)不完善的情況下，這在目前的大多數(shù)情況下是如此。

為了更好地解釋這個(gè)想法，Ray提供了自動(dòng)駕駛車輛的例子.. 在過去幾年里，人們對他們的安全問題進(jìn)行了大量辯論，這也是由于在測試車輛時(shí)發(fā)生了事故。 雷認(rèn)為，有效的人工智能解釋可以鼓勵(lì)人們更多地信任自動(dòng)駕駛車輛的安全，因?yàn)樗鼈儗⒃试S人類司機(jī)事先發(fā)現(xiàn)問題并防止事故發(fā)生。

雷說：“舉個(gè)例子，假設(shè)人工智能系統(tǒng)在可靠地檢測車道方面遇到了麻煩?！?由于道路目前是直的，沒有額外的信息，用戶將無法判斷人工智能是否失敗。 即使他/她有一些疑問，他/她可能不會(huì)做任何事情，直到最后一刻，當(dāng)汽車不得不轉(zhuǎn)彎，不，和崩潰，這將太晚。 相反，如果車上的屏幕顯示了人工智能如何感知環(huán)境的解釋，例如熱圖，用戶將能夠告訴人工智能的潛在故障，并提前控制車輪。

研究人員發(fā)現(xiàn)，有用的解釋積極影響了人類用戶在圖像猜測游戲中的表現(xiàn)。 他們的研究結(jié)果表明，至少有一個(gè)“正確”的解釋是很有幫助的，特別是在人工智能對用戶問題的回答是“吵鬧”或定義不明確的情況下。 有趣的是，玩家傾向于解釋而不是答案，并且常常將人工智能解釋評(píng)為“有益”。

參與這項(xiàng)研究的SRI國際高級(jí)技術(shù)經(jīng)理YiYao告訴Tech Xplore說：“我認(rèn)為，雖然有幾行工作試圖為人工智能系統(tǒng)的結(jié)果或行動(dòng)提供解釋，但我們的研究是第一次引入人工和機(jī)器協(xié)作任務(wù)來評(píng)估人工智能解釋的有效性；因此，它帶來了許多關(guān)于人工智能解釋如何增強(qiáng)人與機(jī)器人之間的相互作用的洞察力。

雷和他的同事進(jìn)行的研究是第一個(gè)提供人工智能解釋有用性的有形證據(jù)的研究之一。 研究人員希望他們的研究最終將為人工智能系統(tǒng)的發(fā)展提供信息，這些系統(tǒng)可以在社會(huì)上理性地行動(dòng)，從而更好地與人類聯(lián)系和聯(lián)系。

雷認(rèn)為，能夠清楚地解釋其行動(dòng)背后的推理和過程的人工智能系統(tǒng)將是智能機(jī)器發(fā)展的一個(gè)重要步驟。 通過有效地回答問題并使其決定合理化，這些系統(tǒng)可以培養(yǎng)對人工智能的更大信任感，以及與其更深層次的關(guān)系。

“許多其他公司、團(tuán)體和研究小組一直在討論可解釋的人工智能問題，并就如何擴(kuò)大現(xiàn)有人工智能模型和系統(tǒng)以向用戶提供解釋提出了許多建議，”SRI國際高級(jí)計(jì)算機(jī)科學(xué)家、DARPA研究的首席調(diào)查員Gedrius Burachas說，該研究導(dǎo)致了猜測游戲的發(fā)展。 “雖然提出了許多想法，但缺乏這些想法奏效的證據(jù)，因此我們研究的一個(gè)有力方面是，它提供了無可爭辯的證據(jù)，證明某些類型的解釋確實(shí)非常有效地改善了與人工智能系統(tǒng)的合作，但也建立了對它們的信任。

到目前為止，Ray和他的同事的工作主要集中在視覺問題回答(VQA)任務(wù)上，用戶在這些任務(wù)中詢問有關(guān)圖像的問題和AI答案。 他們現(xiàn)在正計(jì)劃繼續(xù)研究人工智能解釋技術(shù)，將這些技術(shù)應(yīng)用于更廣泛的人工智能任務(wù)。

「我們亦會(huì)繼續(xù)發(fā)展協(xié)議，以更細(xì)粒度(例如： 在什么情況下，什么解釋更有效？) 并從不同的角度(例如。 解釋是否有助于用戶建立心理模型？ ”雷說。 “為了結(jié)束循環(huán)，我們將利用從這些評(píng)價(jià)中吸取的經(jīng)驗(yàn)教訓(xùn)，制定更有效的解釋方法。 我們認(rèn)為，可解釋人工智能的圣杯是設(shè)計(jì)解釋，不僅告知用戶，而且通過提高其推理能力來提高機(jī)器性能。

因此，除了探討人工智能解釋對人類用戶的性能和感知的影響外，研究人員還想調(diào)查它們對人工智能系統(tǒng)本身的影響。 他們認(rèn)為人工智能解釋也可以使人工智能系統(tǒng)本質(zhì)上更好，因?yàn)樗鼈儗⒅饾u獲得推理和合理化技能。