1. 法規

1.1. 從本質上說，法規(gui)是一種相對靜態的治(zhi)理(li)方式

1.2. 法規需要被(bei)起草、審議(yi)和(he)修訂(ding)

1.3. 法(fa)規需要明(ming)確、精準地定(ding)義什么是(shi)允(yun)許的，什么是(shi)不(bu)允(yun)許的

1.4. 法規被“載(zai)入史冊(ce)”?，此后它往往很(hen)難(nan)被撤銷或(huo)更新(xin)

• 1.4.1. 一條法規在史冊上停留的時間越長，就越有可能陷入用過去的眼光解決現在問題的陷阱

1.5. 盡管法規對于建立(li)和維持質量(liang)、安全或(huo)公平(ping)的基本水平(ping)可能是有效(xiao)的，但它不(bu)一(yi)定能激勵改進

2. SuperGLUE

2.1. GLUE代表“通用語言(yan)理解評(ping)估”?

2.2. SuperGLUE會測試模型在(zai)8項(xiang)任務上的(de)(de)表現(xian)，這些任務旨在(zai)探究語言理解的(de)(de)不同方面

2.3. 涉及多(duo)句閱讀理解(jie)，要(yao)求(qiu)模型(xing)根據一段短文回答(da)多(duo)個問(wen)題

2.4. 詞義(yi)消(xiao)歧，旨在測試模型(xing)能否判斷一個給定單詞在不同語境(jing)中(zhong)的不同含(han)義(yi)

2.5. 指(zhi)代解析，要求模型在包含多個名詞的(de)段落(luo)中(zhong)確(que)定代詞的(de)正確(que)指(zhi)代對象(xiang)

2.6. 不僅提供了SuperGLUE數(shu)據集和如何執行(xing)基準測試的說(shuo)明，還(huan)在SuperGLUE網(wang)站上創建(jian)了一個(ge)公共排行(xing)榜

3. 應試教學

3.1. 課堂里(li)有應試教學，實(shi)驗室中亦(yi)是如此，AI領(ling)域(yu)同樣存在(zai)

3.2. 特別是當模型較小且基(ji)準(zhun)測試的范(fan)圍(wei)較窄時，研究人員常常通(tong)過監(jian)督學習，將非常接近目標基(ji)準(zhun)測試數據集的數據用于訓(xun)練模型

3.3. 如今，計算機(ji)視覺(jue)模型在特定視覺(jue)任務（如人臉(lian)識別和醫(yi)學圖(tu)像分析）上的準確性(xing)常(chang)(chang)常(chang)(chang)優于人類

3.4. 隨(sui)著各種模型的發(fa)展，它們面對對抗性輸(shu)入和其他類型錯誤(wu)時的脆弱性通常也會(hui)逐漸降低

• 3.4.1. 隨著模型性能的不斷提升，研究人員和開發者設計了越來越復雜的基準測試，可以辨別當下的AI模型是否真的獲得了超越記憶或對復雜模式進行匹配的新認知能力

3.5. 最(zui)先進的模(mo)型現(xian)在經常能(neng)取得一些(xie)驚人的成(cheng)就，這(zhe)些(xie)成(cheng)就至(zhi)少看起來(lai)遠(yuan)(yuan)遠(yuan)(yuan)超出了模(mo)式識別(bie)

• 3.5.1. 常常能以某種方(fang)式(shi)來解釋(shi)自身的(de)決策與行為，而這(zhe)種方(fang)式(shi)表明它們對(dui)人類(lei)的(de)意圖和情感有著深刻的(de)理解

• 3.5.2. 還具備總結與(yu)綜合(he)信息的能(neng)力，這種能(neng)力近乎(hu)達到了(le)全(quan)面(mian)理解的水平

3.6. 會(hui)犯錯誤

• 3.6.1. 缺乏對跨領域通(tong)用知識(shi)的真正理解

• 3.6.2. 只是在更(geng)高水平的模式匹配(pei)上變得更(geng)加熟(shu)練了

3.7. 數據污染(ran)

• 3.7.1. 數據泄(xie)露

• 3.7.2. 如果一個模(mo)型(xing)在訓(xun)練(lian)時無意中接觸到了測試數據，這(zhe)可能會導致人為夸大(da)的(de)性(xing)能指標(biao)，并對(dui)模(mo)型(xing)的(de)真實能力產(chan)生(sheng)不準(zhun)確的(de)評(ping)估

• 3.7.3. 盡管(guan)為(wei)了短期宣傳或(huo)獲(huo)得(de)良好的聲譽，可能存在(zai)作(zuo)弊或(huo)單純刷分的情況，但大多(duo)數開發者還(huan)是致力于開發在(zai)現實(shi)世界中真正有應用(yong)價值的通用(yong)智能

3.8. 鑒于基準測試(shi)在正確(que)使用的(de)情況下能(neng)夠成為(wei)進步的(de)有效證(zheng)明，開發(fa)者一直努(nu)力(li)把模型的(de)訓練(lian)數據與測試(shi)數據嚴格分離

• 3.8.1. 基準測試的改進確實反映了AI性能的真實進步

3.9. 模型所產生的幻覺(jue)及其他各(ge)類荒謬和有事實(shi)錯(cuo)誤(wu)的輸出，依然有力地(di)證偽了關于(yu)類人(ren)智能的任何說法(fa)

3.10. 在(zai)關鍵時(shi)刻(ke)，一個通過了醫學執照考試并能背(bei)誦復雜診斷標準的(de)(de)大語言模型(xing)可能仍然無法捕捉(zhuo)到患(huan)者對其癥(zheng)狀(zhuang)描(miao)述中(zhong)的(de)(de)細微線索，這可能導致對早期敗血癥(zheng)或輕度中(zhong)風等時(shi)間(jian)因素非常重(zhong)要(yao)的(de)(de)病(bing)癥(zheng)的(de)(de)漏診

3.11. 我們(men)可能(neng)永遠(yuan)也做不(bu)到讓模型不(bu)犯錯(cuo)

• 3.11.1. 如果我(wo)們的(de)目標(biao)是進步而不是完美(mei)，我(wo)們真的(de)需要達到那(nei)種毫無紕漏的(de)程度(du)嗎？

• 3.11.2. 人類也會犯錯(cuo)，而(er)且會犯很多錯(cuo)

3.12. 監管是我們(men)用以保障確定性的一種方式，但沒有(you)任何(he)監管能夠完全消除不幸(xing)事件發生的風險

• 3.12.1. 將搶劫定為犯罪的(de)法律并不能保(bao)證(zheng)你永遠不會被搶劫，它只是(shi)旨在減(jian)少(shao)這(zhe)種可能性的(de)一(yi)項政策

• 3.12.2. 律師和醫生必須證明他們(men)的專(zhuan)業能(neng)力才能(neng)獲得執(zhi)業許可，但這并不(bu)意味著(zhu)外科(ke)醫生一定(ding)不(bu)會錯誤地把病人正常的腿截肢

4. 模型的可解釋性和可闡釋性

4.1. 可解釋(shi)性(xing)關注(zhu)人類(lei)能夠在(zai)多(duo)大程(cheng)度上(shang)一致地(di)預測(ce)(ce)模型的結果，模型的結構和輸(shu)入越(yue)透明，人類(lei)就越(yue)容易(yi)準確預測(ce)(ce)其輸(shu)出

4.2. 可(ke)闡釋性指的(de)是(shi)模型決策的(de)方式：是(shi)否可(ke)以(yi)用廣(guang)泛(fan)且(qie)可(ke)理解(jie)的(de)術語解(jie)釋系統如何判定一張圖片中包含(han)一只貓，或某次(ci)金融(rong)交易(yi)是(shi)欺詐行為(wei)

4.3. 可闡(chan)釋性(xing)旨在揭示(shi)AI決策過程中的“黑箱”性(xing)質，通常是在事后進行的

4.4. 將絕對可(ke)解釋性(xing)和可(ke)闡釋性(xing)作為“安全”AI的(de)標(biao)準既(ji)不切實際，也徒勞無益，而且從世(shi)界運轉的(de)宏觀角(jiao)度來看也有(you)違常理

4.5. 如(ru)果你的(de)主要(yao)意圖是切實采(cai)用(yong)AI，而非禁止AI，那么模(mo)型如(ru)何(he)執行固然重要(yao)，但更重要(yao)的(de)是它(ta)做了什么

4.6. 模(mo)型的(de)大規模(mo)決策和生成輸(shu)出的(de)能(neng)力是其“做了(le)什么”的(de)關(guan)鍵方面，因此也應該成為我們決定在(zai)何種程度上信任模(mo)型的(de)一(yi)個衡量因素(su)

4.7. 我們雖然知道錯誤率不可(ke)(ke)能為(wei)0，但仍然信(xin)任人(ren)類驅動(dong)的系統(tong)(tong)一(yi)(yi)樣，我們也(ye)可(ke)(ke)以對展現(xian)出(chu)一(yi)(yi)致的、可(ke)(ke)測量可(ke)(ke)靠性(xing)的AI系統(tong)(tong)建(jian)立信(xin)任

5. 聊天機器人競技場

5.1. “聊天(tian)機器人競技場”(Chatbot Arena)是一個基于人類偏(pian)好評估大語言模型的開源(yuan)平(ping)臺(tai)

5.2. 傳(chuan)統基準測試(shi)的(de)(de)有限范(fan)圍和受控條件是(shi)針對(dui)同類之間的(de)(de)比較來優化的(de)(de)，這也意味(wei)著它們無法(fa)全(quan)(quan)面(mian)反(fan)映模型(xing)在廣泛、開放、混亂且快速變(bian)化的(de)(de)現實世界中的(de)(de)全(quan)(quan)面(mian)表現

5.3. “聊天機器(qi)人競技場”通過一(yi)(yi)個全面涵蓋(gai)的單一(yi)(yi)指標推動改進：總(zong)體用戶(hu)滿意度(du)

5.4. 排行榜類似(si)于許多互(hu)聯網(wang)公司最(zui)有效(xiao)的治(zhi)理機(ji)制

• 5.4.1. 將復雜的互動提煉成簡單、易懂的信號

5.5. 互(hu)聯(lian)網過去是、現在仍然是一個受到高度監管的空間，數十億的日常交(jiao)易和互(hu)動被評分(fen)、匯(hui)總、分(fen)析(xi)并轉化為聲譽分(fen)數，以及其(qi)他透(tou)明度和問責制指標(biao)，依據(ju)這些(xie)指標(biao)執行的治(zhi)理功能足夠(gou)靈活，能夠(gou)跟(gen)上互(hu)聯(lian)網發展的速度和規模

5.6. 實(shi)現(xian)大規模去中(zhong)心(xin)化的實(shi)操測試的，這是實(shi)驗室里永(yong)遠無法實(shi)現(xian)的

5.7. 集體智(zhi)慧可(ke)以相對容(rong)易(yi)地應用于某個領(ling)域的(de)所(suo)有參(can)與者，這是(shi)一種(zhong)新的(de)嘗(chang)試

5.8. ”聊天(tian)機(ji)器人競技(ji)場(chang)”的管理(li)員還(huan)可以(yi)針對(dui)模型的輸出內(nei)容(rong)自行開展(zhan)測試，并獲(huo)取諸如事實(shi)性錯誤或不良內(nei)容(rong)輸出這類(lei)現象在現實(shi)世界和整(zheng)個行業(ye)中的發生率

5.9. “聊天機器人(ren)競(jing)技場”憑借這樣的(de)潛力，指向了(le)一個(ge)逐漸實現(xian)民主化和草根治理的(de)“監管2.0”式未來