1. 測試

1.1. ;測試(shi)是普通公眾了解AI及其快(kuai)速增(zeng)長能力的最主要途徑

1.2. 在爭(zheng)奪基準測試(shi)霸主地位的AI太空競賽中，只有(you)最準確且無害的AI才能(neng)存活(huo)下(xia)來(lai)

1.3. AI領域(yu)的“競賽”不(bu)是一場瘋狂的搶占或瓜分，而更(geng)像是一場鐵(tie)人(ren)三項(xiang)賽，只(zhi)不(bu)過時間更(geng)長

• 1.3.1. 在‘AI軍備競賽’中，倫理可能是第一個犧牲品

1.4. 在(zai)短(duan)短(duan)10多年的(de)時間里，人們見證了從(cong)1957年人造(zao)衛星首次(ci)環繞地球到1969年阿波(bo)羅(luo)11號登月(yue)的(de)快(kuai)速發(fa)展

1.5. 2013年DeepMind的(de)(de)DQN（一(yi)種基于深度學(xue)習(xi)和強(qiang)化學(xue)習(xi)的(de)(de)算法）掌握(wo)老款雅達利(li)游戲機上的(de)(de)游戲

1.6. 2016年(nian)AlphaGo擊(ji)敗圍棋世界(jie)冠軍李世石

1.7. 2020年AlphaFold在蛋(dan)白質結構預(yu)測方面取得重(zhong)大突破(po)

1.8. 如今能(neng)夠(gou)將冰島(dao)語的自然語言提示(shi)轉(zhuan)換為可用計算機程(cheng)序的前沿(yan)模型，這些模型從未接受過關于冰島(dao)語或計算機編程(cheng)的明確訓練

1.9. AI的(de)發(fa)展并不會吸(xi)引那些(xie)憑直覺行事、隨興發(fa)揮或相(xiang)信(xin)內(nei)心聲音的(de)人

• 1.9.1. 這是一個主要由極端的數據極客所占據的領域，他們對測試的熱愛程度甚至超過了TikTok“網紅”樂于看到熱門話題走紅的程度

1.10. 圖靈測試為幾十(shi)年來日益復雜的AI評估(gu)奠定了基(ji)礎

• 1.10.1. 過(guo)去的(de)70年里，AI的(de)許多基(ji)礎研究和關鍵(jian)突破大(da)多發生(sheng)在高等教育研究實驗(yan)室而非商業環境中，這種傳(chuan)統在AI強大(da)的(de)數據驅(qu)動測試文化中得以體現(xian)

• 1.10.2. 即(ji)使(shi)商業(ye)開發(fa)(fa)者在AI發(fa)(fa)展中開始發(fa)(fa)揮越來越大的作用，這(zhe)種持續測(ce)試(shi)和評估(gu)的文化仍然存在，并(bing)以多(duo)種方(fang)式推動了整(zheng)個領域(yu)的進(jin)步

1.11. 至少在(zai)AI領域，人(ren)們所討論的(de)“競賽”不是一場瘋狂的(de)搶占(zhan)或瓜分，而更(geng)像是一場鐵人(ren)三(san)項(xiang)賽，只不過時(shi)間更(geng)長

1.12. 測試的(de)主要(yao)作用不是(shi)限制、約(yue)束或以(yi)其他方式設(she)定允許的(de)行為范圍(wei)，相反(fan)，它旨在(zai)評估能(neng)力或表現

• 1.12.1. 一旦知道了自己的分數，你就會想要超越它，一旦你看到別人達到了某種熟練程度，你就想追平甚至超過他

1.13. 雖然(ran)測試和(he)監(jian)管的目(mu)標(biao)都是(shi)標(biao)準(zhun)化與可控制，但測試將關注(zhu)點從合規性提升到了持續(xu)改進上

• 1.13.1. 這是一種游戲化的監管

1.14. 測(ce)試的(de)(de)真正目(mu)標不僅僅是確認“考生”知(zhi)道正確答案，還在(zai)于展示(shi)它們已經獲得了能(neng)(neng)夠應用(yong)于廣(guang)泛場景的(de)(de)能(neng)(neng)力和(he)專(zhuan)業知(zhi)識

1.15. 雖然測試(shi)和監管的(de)目標都(dou)是(shi)標準(zhun)化(hua)與控制，但測試(shi)將關注點從合(he)規(gui)性提升(sheng)到了持續改(gai)進上(shang)

2. 基準測試

2.1. 衡量準確性或(huo)(huo)性能(neng)（比如模(mo)型正確識別圖像(xiang)或(huo)(huo)預(yu)測(ce)句子中下一個單詞(ci)的能(neng)力(li)）的基準測(ce)試是(shi)這種測(ce)試的核心，但也僅僅是(shi)個起點

2.2. 在整(zheng)個計算機行業的發(fa)展中，基準測試(shi)一直發(fa)揮著關鍵作用(yong)

• 2.2.1. 基本(ben)上，每個(ge)組織都(dou)會開(kai)發一種(zhong)標準(zhun)化測試來衡量某種(zhong)系(xi)統性能(neng)，這樣做的(de)(de)目(mu)標是創建可重復的(de)(de)流程(cheng)，從(cong)而生成明確的(de)(de)、針對特定(ding)任務的(de)(de)指標

• 2.2.2. 測(ce)試(shi)者(zhe)通過這種(zhong)方(fang)式，可(ke)以將測(ce)試(shi)的結果與(yu)先(xian)前建立的基(ji)準值進行比較，了(le)解自(zi)己與(yu)行業(ye)中其(qi)他參與(yu)相同基(ji)準測(ce)試(shi)的競爭者(zhe)的差距

2.3. 與臨時測試(shi)和其他(ta)形式(shi)的(de)內(nei)部驗證不同，基準(zhun)測試(shi)通常由第三方（多是學(xue)術機構或行(xing)業聯盟）創建

• 2.3.1. 如果你參與一個基準測試，說明你本質上是同意按照其他人設定的規則來衡量并客觀地認證產品的某些屬性的，無論硬件還是軟件

2.4. 通過合(he)作與競爭的結(jie)合(he)，基(ji)準測試有(you)助于提升透明度(du)和使問責制度(du)更規范

• 2.4.1. 基準(zhun)測(ce)試(shi)既可以(yi)確定單個(ge)模型的(de)能力，也體現了AI開發(fa)的(de)整體進步

• 2.4.2. 即使你(ni)不是模型的開發者(zhe)，也可以(yi)利用現有的基準測試對公開可用的模型進行獨立(li)評估，以(yi)考察其性能或局限性

• 2.4.3. 雖然基準測試不(bu)像(xiang)法(fa)規那樣具(ju)有法(fa)律約束(shu)力，但它(ta)們確實設(she)定(ding)了(le)許多AI領域(yu)的參與(yu)者都努力達到甚至超越(yue)的標準

• 2.4.4. 起(qi)到篩選(xuan)的作用(yong)

• 2.4.4.1. 在(zai)基準測試(shi)中表現不(bu)佳(jia)的算法，通常在(zai)應用于現實世(shi)界之前就會被擱置

• 2.4.5. 基準測(ce)試(shi)是推動(dong)進步(bu)的動(dong)態機(ji)制

• 2.4.5.1. 測試確(que)實具有(you)明確(que)的(de)治理功能(neng)

2.5. 有衡量公平(ping)性的(de)(de)基準測試，試圖評(ping)估AI模型在不同人群(qun)中是否能夠做出公平(ping)的(de)(de)決(jue)策

2.6. 有衡量可(ke)靠(kao)性(xing)和(he)一致(zhi)性(xing)的(de)基(ji)準測試(shi)，衡量系(xi)統(tong)容錯能(neng)力(li)和(he)抗攻擊能(neng)力(li)的(de)基(ji)準，評估(gu)AI系(xi)統(tong)的(de)決(jue)策的(de)可(ke)理(li)解(jie)性(xing)和(he)可(ke)解(jie)釋性(xing)的(de)基(ji)準測試(shi)，以及評估(gu)安(an)全性(xing)、隱私(si)性(xing)、可(ke)用性(xing)、可(ke)擴展(zhan)性(xing)、可(ke)訪問性(xing)及成本(ben)效益等方面的(de)基(ji)準測試(shi)

2.7. 基準測試可以評估AI的常識(shi)推理能力，衡量它能否根據日(ri)常知(zhi)識(shi)做(zuo)出(chu)人類很容易做(zuo)出(chu)的推斷

2.8. 有(you)對話(hua)和(he)交互基準測試，可以評(ping)估(gu)AI在多次交流中進(jin)行(xing)自(zi)然、情境感知(zhi)對話(hua)的能(neng)力

2.9. Real ToxicityPrompts可以(yi)評估語言(yan)模型(xing)在回(hui)應某(mou)些提(ti)示(shi)時生成有害或不良內容的(de)頻率

2.10. StereoSet可以測試模(mo)型表現出各種社會(hui)偏(pian)見的(de)傾向，包括與性別、種族、宗教和職業相關的(de)偏(pian)見

2.11. HellaSwag通過要求模型(xing)為場景補充合理的(de)結尾來評估(gu)其常識(shi)推理能力

2.12. A12推(tui)理挑戰(ARC)使用(yong)超過7000個小學科學問題的數據集來(lai)測(ce)試模型的因果推(tui)理和(he)閱讀理解能力(li)

2.13. 基準測(ce)(ce)試(shi)并(bing)不(bu)能(neng)阻止模型(xing)出現不(bu)良行為（它(ta)只是一(yi)個測(ce)(ce)試(shi)）?，但(dan)它(ta)確實為開發者提供(gong)了一(yi)種一(yi)致(zhi)的方式，評估他們通過(guo)修復、調整(zheng)和采(cai)用(yong)新方法解決模型(xing)缺陷所取得的成(cheng)效

• 2.13.1. 隨著時間的推移，基準測試可以推動重大改進，并作為這種進步的公開展示

2.14. 基準測試在衡量和推(tui)動(dong)AI領域(yu)的進步方面發揮了(le)重要的作(zuo)用

• 2.14.1. 一(yi)個受歡迎的機(ji)器翻譯(yi)(yi)基準測試BLEU（雙語評估替補）提供(gong)了(le)一(yi)種簡單的數值測試，以評估谷歌(ge)翻譯(yi)(yi)在不同語言組合

• 2.14.2. 單詞錯誤(wu)率(WER)基(ji)準(zhun)測(ce)試對(dui)語(yu)音助手（如(ru)亞(ya)馬遜的Alexa和蘋果的Siri）的錯誤(wu)率顯著(zhu)下(xia)降起到了重要作用

2.15. 一個真正(zheng)有(you)效的基準(zhun)測試可能(neng)因促成(cheng)模(mo)型(xing)巨大(da)的性能(neng)提升而使自(zi)己落伍，因為模(mo)型(xing)已經超(chao)越(yue)了該基準(zhun)測試所設定的標準(zhun)

• 2.15.1. 許多流行的技術性能基準測試的性能飽和

2.16. 盡管基準測試(shi)推(tui)動了大語言模型的(de)改(gai)進，使其在現(xian)實場景中表現(xian)出越(yue)來越(yue)令人印(yin)象深刻的(de)性能，但現(xian)實生活中的(de)多(duo)項選擇題從來都不像考試(shi)中出現(xian)的(de)那樣整齊有序

2.17. 基(ji)準測試有助于(yu)研究人(ren)員和(he)開(kai)發者(zhe)探索與AI相關的諸多(duo)問題，并更深入地了解AI系統的能力