1. 寒武紀大爆發

1.1. 技術是一系(xi)列不斷演變的思想

• 1.1.1. 新(xin)技術在與其他(ta)技術的碰(peng)撞和結合(he)中發展

• 1.1.2. 同自然選擇一(yi)樣，有效的技術組合會(hui)留存(cun)下(xia)來，成為未來技術的新基(ji)石(shi)

• 1.1.3. 已有的技術(shu)越(yue)多，它(ta)們(men)就越(yue)能(neng)成為其他新技術(shu)的一部分(fen)

1.2. 發(fa)明是一個不斷累積(ji)的、復合的過程，具有自我強(qiang)化的特性

1.3. 即將到來的浪潮是一個超(chao)級(ji)集群，是一次(ci)進化式的飛(fei)躍，它將帶來成千上(shang)萬種潛在的新應(ying)用(yong)，其(qi)勢(shi)好比地球歷史上(shang)新物種最密集涌(yong)現(xian)的寒武紀大爆(bao)發

1.4. 新浪潮的另一個特點(dian)在于速度

• 1.4.1. 加速回報定律

• 1.4.1.1. 即技術(shu)進步(bu)(bu)會形成自我增(zeng)強(qiang)的反饋循環，從而(er)進一步(bu)(bu)加快技術(shu)發(fa)展的步(bu)(bu)伐

• 1.4.2. 浪潮中的(de)不同(tong)部分相互激發、相互加速，有時展現出極大的(de)不可預測性和爆(bao)發力

• 1.4.3. 技術的進(jin)步是顯(xian)而(er)易(yi)見的，而(er)且進(jin)步速度正(zheng)在(zai)不斷加快，每(mei)個月技術都有新(xin)變化

1.5. 無(wu)法預知這場浪潮將帶來(lai)何種技術組(zu)合，也(ye)無(wu)法確定(ding)其發展的(de)時間表、最終結果和具體展現(xian)形(xing)式，但我們能(neng)實時觀察到一些有趣的(de)新聯系正在(zai)逐步(bu)建立

1.6. 歷史與技術的發展模式將不斷(duan)(duan)延續，那些源源不斷(duan)(duan)的、具有現實(shi)意義的技術重(zhong)(zhong)組和擴散過程不僅會重(zhong)(zhong)復上演，而且將不斷(duan)(duan)向更深(shen)層次推(tui)進

1.7. 要(yao)真正理解即將到(dao)來的(de)(de)技術浪潮，關(guan)鍵不在于預測事(shi)物在短(duan)期內某個時間點的(de)(de)發展狀態，而是要(yao)密切(qie)關(guan)注多條指數型曲線的(de)(de)發展趨勢，預測它(ta)們的(de)(de)未(wei)來走向，并深入思(si)考這意味著(zhu)什么

1.8. 技術(shu)是塑造歷(li)史(shi)模式(shi)的核心力(li)量

• 1.8.1. 在歷史的長河中，我們人類逐漸掌控了原子、比特和基因，它們構成了我們目前所知的世界的普遍基石

2. 深度學習

2.1. 人工智能是即(ji)將到來的技術浪潮的核心

2.2. AlexNet的(de)(de)成(cheng)功源于一(yi)種(zhong)舊技術(shu)(shu)的(de)(de)復興，這種(zhong)技術(shu)(shu)現已(yi)成(cheng)為人工智(zhi)(zhi)能的(de)(de)基礎，為人工智(zhi)(zhi)能領域注(zhu)入了巨大(da)活力

2.3. 深度學(xue)習使用的神經網絡大致(zhi)模仿了人類大腦的神經網絡構造(zao)

2.4. 在(zai)神(shen)經網絡內部，?“神(shen)經元”通過一(yi)系列帶有權重的連(lian)接與其他神(shen)經元相互關聯，這些權重大(da)致反映(ying)了信(xin)息輸入(ru)之間(jian)的關聯強度

• 2.4.1. 神經網絡的每一層都會將其接收的信息傳遞給下一層，從而創建出越來越抽象的表征形式

2.5. 一種稱為(wei)反向傳播的(de)技術介入，它負責調整網(wang)絡連接的(de)權重以優化神經網(wang)絡

2.6. 深度學(xue)習讓計算機(ji)視(shi)覺(jue)技術無處(chu)不在，且(qie)運行順暢(chang)

• 2.6.1. 智(zhi)能手(shou)機能識別各種物體和場景(jing)，在(zai)視(shi)頻通話時，視(shi)覺系統可以自(zi)動模糊(hu)背景(jing)，突出人物

• 2.6.2. 計算機視覺(jue)技術(shu)是亞馬(ma)遜無人(ren)超(chao)市和(he)特斯(si)拉汽車的基礎(chu)，推(tui)動它們(men)向更自主的方(fang)向發展

• 2.6.3. ;存(cun)在于Xbox游戲機(ji)的傳感(gan)器和攝像頭、聯網門鈴和機(ji)場登機(ji)口掃描儀中

• 2.6.4. 無人機的(de)(de)飛行、臉書上的(de)(de)不當(dang)內容自動標記、各種(zhong)醫療狀(zhuang)況的(de)(de)診(zhen)察中也都有計(ji)算機視覺技術的(de)(de)身影(ying)

2.7. 行業的科(ke)研產(chan)出和專利數量迅速攀升

3. 席卷世界

3.1. 人工智(zhi)能的獲取和使用(yong)也變(bian)得日益便捷

• 3.1.1. Meta的(de)PyTorch（一個開源的(de)深度(du)學(xue)習(xi)框架）和OpenAI的(de)應(ying)用程序編程接口(API)這樣的(de)工(gong)具和基礎設施，非(fei)專(zhuan)業人士也(ye)能輕松掌握尖端的(de)機(ji)器學(xue)習(xi)能力(li)

• 3.1.2. 意(yi)味著人工智能(neng)將緊密地融入我們的(de)社(she)會結構(gou)，成為其(qi)不可(ke)分(fen)割的(de)一(yi)部分(fen)

3.2. 人工智能(neng)真的不再(zai)是“新(xin)興”的了

• 3.2.1. 存在(zai)于(yu)你每天(tian)使用的產品、服務和設備中。在(zai)生(sheng)活的各個領域，大(da)量應用程序正依賴于(yu)10年前還(huan)不可(ke)能(neng)實現的技術

• 3.2.2. 有助于在如今治(zhi)(zhi)療成本(ben)不(bu)斷攀升(sheng)的背(bei)景下，發現治(zhi)(zhi)療某些棘手疾病的新(xin)藥

• 3.2.3. 深(shen)度(du)學習可以(yi)(yi)檢測水管裂縫，管理交通流(liu)量，模擬聚變反應以(yi)(yi)開發新的清潔能源，優(you)化航線(xian)，以(yi)(yi)及(ji)輔助(zhu)設(she)計更(geng)(geng)可持(chi)續、功能更(geng)(geng)豐富的建筑材料

• 3.2.4. 深度(du)學習技術也被用來(lai)駕駛汽車、卡車和拖拉(la)機，有可(ke)能創(chuang)造出更安全、更高效的交通(tong)基礎設施

• 3.2.5. 在電力(li)(li)和水資(zi)源系(xi)統中，它(ta)被(bei)用來有(you)效(xiao)管理稀缺資(zi)源，緩解日益增大的資(zi)源壓力(li)(li)

3.3. 人工(gong)智能(neng)系(xi)統能(neng)夠管理零售倉庫、提供郵(you)件寫(xie)作(zuo)建議(yi)、推薦歌曲(qu)、檢(jian)測欺詐行為、撰寫(xie)故事、診(zhen)斷罕(han)見疾病，甚(shen)至模擬氣候變化(hua)的影響

• 3.3.1. 出現在商店、學(xue)校、醫院(yuan)、辦公室、法庭和家庭中

• 3.3.2. 如今，你每天都會和人工智(zhi)能互(hu)動很多次

• 3.3.3. 未來，這種互動將更加頻繁

• 3.3.4. 幾乎(hu)在(zai)任何方面，人(ren)工智能都將(jiang)使人(ren)類體驗變得更加(jia)高(gao)效(xiao)、快速、實用和順暢

4. 大語言模型的崛起

4.1. ChatGPT就是一個聊天機器人

4.2. 人類之所以聰明，很(hen)大(da)程度上是因為我們能(neng)(neng)夠回顧過(guo)去并預測(ce)未來可(ke)能(neng)(neng)發(fa)生的事情

• 4.2.1. 智力可以理解為一種能力，這種能力使我們能夠預測關于周圍世界如何變化的可能情景，并基于這些預測采取明智的行動

4.3. 大語言模型利用(yong)了語言數據總是一(yi)個線性(xing)序列的特性(xing)

• 4.3.1. 每(mei)個信息單(dan)元都以某種方(fang)式與同一語言序列(lie)中較(jiao)早的數據(ju)相關聯

• 4.3.2. 模型會讀(du)取大量句子(zi)，學習(xi)其中包含的(de)信(xin)(xin)息的(de)抽(chou)象表征，然后(hou)基于(yu)這些信(xin)(xin)息生成(cheng)關于(yu)信(xin)(xin)息走向的(de)預(yu)測(ce)

• 4.3.3. 模型的(de)挑戰主(zhu)要(yao)在于設計(ji)一(yi)個算(suan)法，該算(suan)法能(neng)夠“知(zhi)道去(qu)哪里(li)尋找”給定句子中的(de)關(guan)鍵信息(xi)

4.4. 模(mo)(mo)型會將(jiang)句子(zi)中的(de)常(chang)見字母和其(qi)他(ta)符號組(zu)合視為一(yi)系列的(de)“標(biao)記”?，這(zhe)些(xie)標(biao)記類似(si)于語言(yan)中的(de)音節，但實際上它(ta)們是模(mo)(mo)型為了更好地處理信息而識別出(chu)的(de)常(chang)見的(de)字母和符號組(zu)合塊

• 4.4.1. 會創建一個新的常見標記列表，并基于這些標記在海量文檔中識別出語言模式

4.5. GPT-4還(huan)能(neng)處(chu)理圖(tu)像和代碼、創建(jian)能(neng)在桌面瀏覽器中運行的3D（三維）電腦游戲、開(kai)發(fa)手機應用、調試代碼、識別合同漏(lou)洞、為新藥(yao)(yao)研發(fa)提供結構建(jian)議，甚至給出(chu)避(bi)免侵犯(fan)專(zhuan)利權的藥(yao)(yao)物修改建(jian)議

4.6. 如(ru)果說(shuo)DQN和AlphaGo只(zhi)是(shi)在(zai)岸(an)邊輕拂的早期波瀾(lan)，那(nei)么ChatGPT和大語言模型就是(shi)第一波洶涌而來的巨浪(lang)

4.7. 大語言模型的(de)應用并不局限于語言生成

• 4.7.1. 以(yi)語言為(wei)起(qi)點，現(xian)已拓(tuo)展為(wei)一(yi)整個生機(ji)勃(bo)勃(bo)的生成式人工智能領域

• 4.7.2. 除(chu)了(le)語言生(sheng)成，這些模(mo)型在訓練過程(cheng)中(zhong)還意外獲得了(le)眾多(duo)其他功能，如創作音樂、設計游戲、下棋以及解決高級數學(xue)問題等

• 4.7.3. ;新(xin)的工(gong)具能夠根據簡(jian)短的文字描述生成(cheng)令(ling)人驚嘆的圖(tu)像，這些圖(tu)像的真實感和說服(fu)力(li)令(ling)人難以置信

• 4.7.4. Stable Diffusion這個完全(quan)開源的模型更是讓任何人(ren)都能在筆(bi)記本電腦上免費定(ding)制超現實主(zhu)義圖像

• 4.7.4.1. 同(tong)樣的功(gong)能(neng)很快也將在音頻剪輯(ji)甚至視(shi)頻生(sheng)成領域實現

5. 人腦級人工智能模型

5.1. 通常，人工(gong)智能系(xi)統(tong)的預測準確性高度依賴于訓練數(shu)據的標注(zhu)質量(liang)

5.2. 大(da)語(yu)言模(mo)(mo)型(xing)革(ge)命(ming)的(de)關鍵突破在(zai)于(yu)，我們首次能夠直接在(zai)原(yuan)始、雜亂無章的(de)現實世界(jie)數(shu)據(ju)上訓(xun)練超大(da)模(mo)(mo)型(xing)，而無須依賴那些經過(guo)仔細(xi)篩(shai)選(xuan)和(he)人工標注的(de)數(shu)據(ju)集

5.3. 現在網絡上的幾乎所有(you)文本數(shu)據都變得有(you)價值了，數(shu)據量越(yue)大越(yue)好

5.4. 如今的大語言模型是在數以(yi)萬億(yi)詞級別(bie)的文本規(gui)模上進行訓(xun)練(lian)的

5.5. 假設一個(ge)(ge)人(ren)平均每分鐘能(neng)閱(yue)讀200個(ge)(ge)單(dan)詞(ci)，那么在(zai)80年的壽命中(zhong)，他大約能(neng)閱(yue)讀80億(yi)個(ge)(ge)單(dan)詞(ci)

• 5.5.1. 前提是他24小時不間斷閱讀，其他什么也不做

5.6. 美(mei)國人平均每天花大(da)約(yue)15分鐘讀書，一年下來(lai)一個人大(da)約(yue)能閱讀100萬個單詞

• 5.6.1. 與大語言模型在短短一個月的訓練中處理的單詞數量相比，相差了約6個數量級

5.7. 不到(dao)10年的(de)時間(jian)，訓練最佳(jia)人工智能(neng)模型的(de)計(ji)算(suan)量(liang)(liang)已經躍升了9個數量(liang)(liang)級—從(cong)2 petaFLOP（一個衡量(liang)(liang)計(ji)算(suan)機性能(neng)的(de)重(zhong)要單位(wei)）飆升至100億petaFLOP

5.8. 如今，尖(jian)端的芯片制程(cheng)已(yi)達到了3納米

• 5.8.1. 晶體管尺寸日益縮小，已(yi)逼近(jin)物理極限

• 5.8.2. 在這種尺寸上，電子間的相(xiang)互干(gan)擾越發嚴重，從而影響計算過程的準確性

5.9. 縮放假設(she)

• 5.9.1. 系(xi)統性(xing)能提(ti)升的主要驅動力(li)就是簡單地擴大規(gui)模(mo)

• 5.9.2. 只要持(chi)續增加數據(ju)、參數和(he)計算量來擴展模(mo)型，它們就(jiu)能(neng)(neng)不斷提升性能(neng)(neng)，甚(shen)至可能(neng)(neng)達(da)到或(huo)超越(yue)人類水平(ping)的智(zhi)能(neng)(neng)

5.10. 人工智(zhi)能在追求復制人類智(zhi)慧的過(guo)程中，仿佛是在追逐一(yi)個不斷變化、難(nan)以捉摸的目標，這(zhe)個目標總有一(yi)些難(nan)以言喻的元(yuan)素永遠無法企及(ji)

5.11. 人腦常被認為是(shi)宇宙中已知的最復雜的物體

• 5.11.1. 從(cong)更(geng)廣泛(fan)的(de)視角(jiao)來看，我們是(shi)情感豐富(fu)、具有社交屬性的(de)復(fu)雜生物

• 5.11.2. 人類完成特定(ding)任務的(de)能(neng)力，即人類智慧(hui)本身(shen)，實際上是相當固(gu)定(ding)的(de)，盡管這種能(neng)力強大(da)且多面

• 5.11.3. 算力的規模在(zai)不斷擴(kuo)展，而(er)我(wo)們的大腦(nao)并(bing)不會(hui)逐年發生巨大的變化

• 5.11.4. 隨著(zhu)時間的(de)推移，人工(gong)智能與人類大腦復雜程度的(de)差距將(jiang)逐(zhu)漸(jian)縮小

• 5.11.5. 計算規(gui)模的提升雖是強大的推動(dong)力(li)，卻(que)并非人工智能(neng)實現指數級改進的唯一途徑

5.12. 人工(gong)智能(neng)正變(bian)得越(yue)來越(yue)擅長用更少的(de)資源做(zuo)更多(duo)的(de)事

5.13. 人工智能確實讓潛在(zai)(zai)的傷(shang)害、濫用和(he)錯誤信息真實存在(zai)(zai)，但好消息是，隨著模型的不斷擴(kuo)大和(he)增強，許多(duo)問(wen)題正在(zai)(zai)逐(zhu)步得到改善

5.14. 人(ren)工智能(neng)的(de)奇異現象：盡管它(ta)(ta)在對話中仍然錯誤百出、自相矛盾，但它(ta)(ta)能(neng)讓一個谷歌工程(cheng)師相信它(ta)(ta)具有感(gan)知能(neng)力；而人(ren)工智能(neng)的(de)批評者則開始嘲(chao)笑這一切，聲(sheng)稱人(ren)工智能(neng)再次成了炒作的(de)犧牲(sheng)品，實際上它(ta)(ta)并(bing)未取得什么重大(da)突破

5.15. 人(ren)工智能就是“計算機不能做的(de)事(shi)情”?

• 5.15.1. 一旦計算機能做到了，它就只不過是個軟件

5.16. 現有的(de)人工智能(neng)系統仍(reng)在相對(dui)狹(xia)窄的(de)領域內(nei)運作

• 5.16.1. 未(wei)來(lai)必將迎來(lai)真(zhen)正通用(yong)或(huo)強大的人(ren)工智能(neng)，它們能(neng)夠(gou)在廣(guang)泛的復雜任(ren)務中達到人(ren)類的表現水平(ping)，并能(neng)夠(gou)在這些任(ren)務之間(jian)順暢(chang)切(qie)換(huan)

• 5.16.2. 這正是縮放假(jia)設所預測(ce)的(de)未來(lai)，也是我(wo)們(men)在(zai)當前系統中已經看(kan)到的(de)初步(bu)跡象

5.17. 無(wu)(wu)須關心意識是否(fou)(fou)源于某種機器(qi)永遠無(wu)(wu)法觸及的(de)、神秘且難以(yi)定(ding)義的(de)“火花”?，也(ye)不需(xu)要(yao)去想它是否(fou)(fou)會從我們今天所知的(de)神經網絡中(zhong)自然涌現出來

• 5.17.1. 重要的是系統能夠做什么，而不是它是否具有自我意識、理解能力或類人智能

6. 新時代的圖靈測試

6.1. LaMDA模(mo)型“感知初現(xian)”的故事所展現(xian)的，人(ren)工智能(neng)系統已非常接近通過圖靈(ling)測試

6.2. 新時代(dai)的(de)(de)圖靈測試可能(neng)會考(kao)察(cha)人(ren)工智能(neng)能(neng)否(fou)獨(du)立(li)完(wan)成這樣的(de)(de)任務：在(zai)幾個月內，用10萬(wan)美元的(de)(de)投資在(zai)亞馬遜上賺取(qu)100萬(wan)美元

6.3. 在當今世界經濟中，對眾多任(ren)務而(er)言，一臺電腦便可輕松應對

• 6.3.1. 從某種意義上說，全球GDP（國內生產總值）的很大一部分都是通過基于屏幕的人工智能界面來實現的

6.4. ;目(mu)前的(de)(de)(de)主要挑戰在于如何推進(jin)人(ren)工智能開發者所稱的(de)(de)(de)“分層(ceng)規劃”?，即將多個(ge)目(mu)標(biao)、子目(mu)標(biao)和能力整合到一個(ge)無縫的(de)(de)(de)流程中，服務于一個(ge)單一的(de)(de)(de)目(mu)標(biao)

• 6.4.1. 一旦(dan)分(fen)層規劃得(de)以實(shi)現(xian)，人工智能的(de)能力(li)將進一步(bu)獲(huo)得(de)顯(xian)著提升，它將能夠(gou)被(bei)嵌入一個(ge)企業(ye)或(huo)組織及其所有的(de)歷史數據和實(shi)際需求中，從而能夠(gou)執(zhi)行諸如(ru)游說(shuo)、銷售、制造、招聘、計(ji)劃等(deng)任務(wu)

• 6.4.2. 公(gong)司能做的所有事情，人工智能都能勝任(ren)，只需一小隊(dui)人類管理者來負責監督、復核、實施，并與人工智能共同擔任(ren)CEO

6.5. “人(ren)工能力智能”?，即人(ren)工智能可以在最低程度的監(jian)督下完成復雜(za)的目標和任務

6.6. 人工智能的早期階段(duan)主要關注分類和預測(ce)

• 6.6.1. 盡管它具備一定的能力，但這些能力僅局限于明確界定的范圍和預設的任務內

6.7. 人工(gong)能(neng)力智能(neng)代表著(zhu)人工(gong)智能(neng)發展(zhan)的(de)下一個重要階段

• 6.7.1. 在這一階段，人工智能系(xi)統不僅(jin)可以識別和生(sheng)成與(yu)特定語境相契合的(de)新穎的(de)圖(tu)像、音頻和語言，還(huan)能實時與(yu)真實用戶進行交互

• 6.7.2. 它憑(ping)借增(zeng)強(qiang)的(de)記憶(yi)能(neng)力(li)，能(neng)在較(jiao)長時間內維持(chi)這些能(neng)力(li)的(de)一致性，并能(neng)夠利用其他(ta)數(shu)據(ju)來(lai)源，如第三方的(de)知識(shi)、產品或供(gong)應(ying)鏈組件數(shu)據(ju)庫等

• 6.7.3. 所有這一切都將極大地擴(kuo)展人工智能工具的使用，提升(sheng)其執行一系列(lie)廣泛的復雜實用任務的能力

6.8. 算力(li)的巨大提升將(jiang)催生出頂級的模(mo)型(xing)

6.9. 人(ren)工智能絕(jue)不僅僅是一(yi)項(xiang)新技(ji)術那么(me)簡(jian)單，它比任何技(ji)術都要深(shen)刻得(de)多、強大得(de)多

• 6.9.1. 真正的(de)風險并不在于對其(qi)過度炒作，而在于我們可(ke)能低估(gu)了即將到來(lai)的(de)技術(shu)浪潮的(de)規(gui)模

• 6.9.2. 人工智能不(bu)僅(jin)僅(jin)是一(yi)種工具或(huo)平臺，而且是一(yi)種具有變革性的元技術，是推動技術和一(yi)切事物發(fa)展(zhan)的背后(hou)的力量

• 6.9.3. 它本身就是工具(ju)和平臺的創造者，不僅僅是一個系(xi)統，而且是一個能(neng)夠生成各種類型系(xi)統的生成器(qi)