前言

每天都要瀏(liu)覽大量AI相關新聞，是(shi)不是(shi)感(gan)到信息(xi)量爆炸，有效信息(xi)少？

這么多新(xin)產品和新(xin)工具，到底哪些(xie)(xie)是真正是有價值(zhi)的(de)(de)，哪些(xie)(xie)只(zhi)是浮躁的(de)(de)一時熱(re)點？

想參與AI產品(pin)和(he)工具的開發(fa)，從(cong)哪里能夠獲得(de)大量的靈(ling)感(gan)和(he)思路？

我會把AI相(xiang)關(guan)的新趨勢、新想法、新思路(lu)，和成熟AI產品(pin)、工具、模型(xing)等整理在(zai)這里，幫助大家(jia)去除信(xin)息(xi)噪(zao)音，更高效的了解AI前沿發展(zhan)。

主要圍繞：

• AI業界趨勢、想法、思路
• AI產品
• AI開發者工具
• AI模型

作為(wei)本(ben)期刊的第二期，我們主(zhu)要(yao)圍繞2023年5-6月(yue)發布(bu)的相關信息為(wei)主(zhu)，觀眾(zhong)朋友們請注意時效性。

想法/思路

大模型訓練的材料會耗盡嗎？

以下節選自阮一峰科技周刊(kan)中(zhong)阮老師(shi)的個(ge)人(ren)思考，覺得(de)蠻(man)有(you)意(yi)思。

現在的新(xin)聞(wen)報(bao)道，天天有 AI 的新(xin)聞(wen)，里面會提到(dao)很多模(mo)型。

分辨模(mo)型的(de)強(qiang)弱，有一個(ge)關(guan)鍵指標，就(jiu)是看它有多少個(ge)參數。一般來說，參數的(de)數量越多，模(mo)型就(jiu)越強(qiang)。

GPT-2 有(you)15億個(ge)(ge)參數，GPT-3 和 ChatGPT 有(you)1750億個(ge)(ge)，GPT-4 沒有(you)公布這(zhe)個(ge)(ge)指標，據(ju)傳比上一代(dai)大5倍以上。

那(nei)么(me)，什(shen)么(me)是參數(shu)呢？按照我粗淺(qian)的(de)(de)理解(jie)，參數(shu)相當于模型預測(ce)時，所依(yi)據的(de)(de)神經(jing)網絡的(de)(de)節點數(shu)量(liang)。參數(shu)越(yue)多，就代表了模型所考慮的(de)(de)各種可(ke)能(neng)性越(yue)多，計算量(liang)越(yue)大，效果越(yue)好。

既然參(can)數(shu)越(yue)多(duo)越(yue)好，那(nei)么參(can)數(shu)會(hui)無限(xian)增長嗎？

答案是不會(hui)的(de)(de)(de)，因為參(can)數受到訓練(lian)材料(liao)的(de)(de)(de)制約。必需有足夠的(de)(de)(de)訓練(lian)材料(liao)，才能計(ji)算出這些參(can)數，如果參(can)數無限增長，訓練(lian)材料(liao)勢(shi)必也要無限增長。

我看到的(de)(de)一種說(shuo)法是，訓練材料至少(shao)應(ying)該(gai)是參數(shu)的(de)(de)10倍。舉例來說(shuo)，一個(ge)區分貓照(zhao)片(pian)和狗照(zhao)片(pian)的(de)(de)模型，假定有(you)1,000個(ge)參數(shu)，那么至少(shao)應(ying)該(gai)用10,000張圖(tu)片(pian)來訓練。

ChatGPT 有1750億(yi)個(ge)(ge)參(can)數，那么訓(xun)練材料(liao)最好不(bu)少于17500億(yi)個(ge)(ge)詞元（token）。"詞元"就是各(ge)種單詞和符號，以小說(shuo)《紅(hong)(hong)樓夢》為例(li)，它有788,451字(zi)，就算100萬(wan)個(ge)(ge)詞元。那么， ChatGPT 的(de)訓(xun)練材料(liao)相當于175萬(wan)本《紅(hong)(hong)樓夢》。

根據報道，ChatGPT 實際上用了(le) 570 GB 的(de)訓練材料，來自維(wei)基(ji)百科(ke)、互聯網(wang)圖書館、Reddit 論壇、推特(te)等等。

大家想(xiang)(xiang)一想(xiang)(xiang)，更強大的模型需要(yao)更多的訓練材(cai)料，問題是能(neng)找到這(zhe)么(me)多材(cai)料嗎(ma)，會不(bu)會材(cai)料有(you)一天不(bu)夠(gou)用？

我(wo)告訴大(da)家，真的(de)有學者寫過論文，研究這個(ge)問題(ti)。

過(guo)去10年來，AI 訓練數(shu)據(ju)(ju)集的(de)增長速度(du)遠快(kuai)于全世界的(de)數(shu)據(ju)(ju)存量(liang)的(de)增長速度(du)。如果(guo)這種(zhong)趨勢(shi)繼續下(xia)去，耗盡數(shu)據(ju)(ju)存量(liang)是不可避免的(de)。

論(lun)文給出了三個時間點。

• 2026年：用完一般的語言數據
• 2030年～2050年：用完所有的語言數據
• 2030年～2060年：用完所有的視覺數據

也就是說，根據他們的預測，大概三(san)四年后(hou)，新的訓練(lian)材(cai)料就會很難找。最(zui)遲三(san)十年后(hou)，全世界所有(you)材(cai)料都不夠 AI 的訓練(lian)。

上圖是(shi)(shi)作者給的(de)(de)趨(qu)勢圖，虛線(xian)是(shi)(shi)訓(xun)練(lian)材(cai)料(liao)的(de)(de)增長(chang)速(su)度，紅(hong)線(xian)和藍(lan)線(xian)是(shi)(shi)模型增長(chang)速(su)度的(de)(de)不(bu)同預測(ce)。到(dao)了(le)2035年(nian)以后(hou)，這三根線(xian)就(jiu)(jiu)合在一起了(le)，曲線(xian)變得越來越平。作者認為，到(dao)了(le)那(nei)時(shi)，由于沒有足(zu)夠的(de)(de)訓(xun)練(lian)材(cai)料(liao)，AI 模型的(de)(de)發(fa)展(zhan)速(su)度可能就(jiu)(jiu)會(hui)顯(xian)著放緩。如果他的(de)(de)預測(ce)是(shi)(shi)正確(que)的(de)(de)，就(jiu)(jiu)意味著，跟大家想的(de)(de)不(bu)一樣，AI 飛速(su)發(fa)展(zhan)不(bu)會(hui)持續很(hen)久。現在也許(xu)就(jiu)(jiu)是(shi)(shi)發(fa)展(zhan)最(zui)快的(de)(de)階段，然后(hou)就(jiu)(jiu)會(hui)開始放慢，等到(dao)本世(shi)紀中葉就(jiu)(jiu)會(hui)顯(xian)著放慢，接近停滯，跟量子物理學的(de)(de)現狀差不(bu)多。

下面的新聞也討論了該問(wen)題(ti)，在這里節選片段。

什么是模型崩潰？

本(ben)質上，當 AI 大(da)模(mo)型(xing)生(sheng)(sheng)成(cheng)的(de)數據最終污(wu)染了后續模(mo)型(xing)的(de)訓(xun)練集時，就會發生(sheng)(sheng)“模(mo)型(xing)崩潰”。

論(lun)文中(zhong)寫道，“模(mo)型(xing)崩潰指的(de)是(shi)一(yi)個退(tui)化的(de)學習過程(cheng)，在這個過程(cheng)中(zhong)，隨著時間的(de)推(tui)移，模(mo)型(xing)開始遺忘不可能發生的(de)事件，因為(wei)模(mo)型(xing)被它自己(ji)對(dui)現實的(de)投(tou)射所毒化。”

一(yi)個假設的(de)(de)場景(jing)更有助于(yu)理解這一(yi)問題。機器學習（ML）模(mo)型(xing)在(zai)包含(han) 100 只(zhi)貓(mao)的(de)(de)圖(tu)片的(de)(de)數(shu)據集上進行訓(xun)練(lian)——其中 10 只(zhi)貓(mao)的(de)(de)毛(mao)色(se)為藍(lan)色(se)，90 只(zhi)貓(mao)的(de)(de)毛(mao)色(se)為黃(huang)(huang)色(se)。該模(mo)型(xing)了解到黃(huang)(huang)貓(mao)更普(pu)遍，但也表示藍(lan)貓(mao)比實(shi)際情況偏(pian)黃(huang)(huang)一(yi)點，當被要求生成(cheng)新(xin)數(shu)據時，會(hui)返回一(yi)些(xie)代表“綠(lv)毛(mao)色(se)的(de)(de)貓(mao)”的(de)(de)結(jie)果。隨著時間的(de)(de)推移，藍(lan)色(se)毛(mao)色(se)的(de)(de)初(chu)始特(te)征會(hui)在(zai)連續的(de)(de)訓(xun)練(lian)周期中逐(zhu)漸消失，從逐(zhu)漸變成(cheng)綠(lv)色(se)，最后變成(cheng)黃(huang)(huang)色(se)。這種(zhong)漸進的(de)(de)扭(niu)曲和少(shao)數(shu)數(shu)據特(te)征的(de)(de)最終丟失，就(jiu)是“模(mo)型(xing)崩潰”。

筆者認為，雖然(ran)訓(xun)練材料耗盡離(li)我們(men)現在(zai)還很遙遠，不過(guo)如果訓(xun)練所需(xu)要的材料一直以指數級增(zeng)長，而我們(men)現有(you)(you)的材料又沒有(you)(you)跟上時，確實有(you)(you)可能會提(ti)前(qian)碰到這種瓶(ping)頸。

OpenAI支持函數調用功能

關于OpenAI的函數調用功能，一個比喻： 以前讓OpenAI回答數學題，只能靠催眠（你是數學專家），然后回答，常常答錯； 現在讓OpenAI回答數學題，同時給他一個計算器（他知道什么時候該用計算器，但是他自己不會用），當他識別出這是數學題時，會把數字吐給你，你自己再用計算器算結果，再把結果和問題扔給他做回答。這也是很多其他新模型會附帶的功能，類似模型插件。

優點：準確又(you)智(zhi)能。結果(guo)是(shi)你自(zi)己的函(han)數計(ji)算的，肯定錯不了；

快速整理播客筆記

阿里的(de)通義聽悟可(ke)以快速整理音(yin)頻(pin)的(de)內容，轉化為(wei)文字。

我(wo)們(men)首先(xian)需(xu)要下(xia)載(zai)播客音(yin)頻，將音(yin)頻導(dao)入通義聽悟平臺，1 個小時的音(yin)頻大概只需(xu)要 5 分鐘導(dao)入和處(chu)理；

通義聽悟處理后，自動生成章節和聲音轉錄的(de)文本（能夠(gou)區分不同(tong)說(shuo)話人(ren)），支(zhi)持文本翻(fan)譯成中文；

隨后可(ke)以根據自(zi)動(dong)生成的章(zhang)節或(huo)關鍵(jian)詞快速(su)跳(tiao)轉(zhuan)收(shou)聽感興(xing)趣的內容，不感興(xing)趣的一律跳(tiao)過(guo)；隨時在(zai)右(you)側做筆記；

AI發明計算機算法

谷歌人工智能(neng)部(bu)門 DeepMind 宣(xuan)布(bu)，使用 AI 發現了(le)一種新的(de)算(suan)法 AlphaDev，把排(pai)序速度提高了(le) 70％，細節可以看原(yuan)文。

模型

如何給大模型排行？

隨著大模(mo)型研究的(de)流行，非(fei)(fei)常多模(mo)型在市面上大亂(luan)斗，也有非(fei)(fei)常多的(de)模(mo)型排行榜。我們該如何科學的(de)對模(mo)型進行排名(ming)呢？

在模型(xing)硬指標上，有以下幾個方面需(xu)要對比：

• 模型大小
• 訓練數據集
• 訓練和推理效率
• 應用領域（單模態/多模態等）
• ...

除開硬指標(biao)，我(wo)在網(wang)上了解了一下，目前針對LLM公(gong)認的權威排行(xing)機構和論(lun)文還比(bi)較少，比(bi)較知名的有(you)LMSYS

Large Model Systems Organization(LMSYS ORG)是由UC Berkeley與UCSD和CMU合作的學(xue)生和教職員工創立(li)的開(kai)放(fang)研究組織。我(wo)們(men)的目標是通過共同(tong)開(kai)發(fa)(fa)開(kai)放(fang)數據集，模型(xing)，系(xi)統(tong)(tong)和評估工具來使(shi)每個(ge)人(ren)都可以訪問(wen)大(da)型(xing)模型(xing)。我(wo)們(men)的工作包括機(ji)器學(xue)習和系(xi)統(tong)(tong)中的研究。我(wo)們(men)培(pei)(pei)訓(xun)大(da)型(xing)語言模型(xing)并使(shi)其(qi)廣(guang)泛使(shi)用，同(tong)時還開(kai)發(fa)(fa)了分布式系(xi)統(tong)(tong)以加速其(qi)培(pei)(pei)訓(xun)和推(tui)理。

國(guo)內(nei)有(you)一個(ge)CLUE排行(xing)榜，不(bu)過(guo)我看了下，感覺有(you)點模仿(fang)國(guo)外的模型(xing)評測GLUE和SuperGLUE的感覺，大(da)家(jia)可以參考，但是具體認可度有(you)待觀察。

文字轉音頻 Bark

Bark 是由 Suno 創建的基于轉換器的文本到音頻模型。 Bark 可以生成高度逼真的多語言語音以及其他音頻 - 包括音樂、背景噪音和簡單的音效。 該模型還可以產生非語言交流，如大笑、嘆息和哭泣。 截至6月20號Github已經20k Star。

簡單來說，你可以寫一段文本，并(bing)選擇一種語調，給機(ji)器(qi)朗(lang)讀(du)。但與此同(tong)時，支持：

• 除了英語外，還支持他國語言
• 支持一些非文字的聲音，比如清嗓子、大笑、哼哼等
• 通過加上音樂符號?，讓他用唱歌的形式朗讀。
• 可以給他輸入音頻，他會輸出模仿聲調
• ....（還有很多能力）

支持的語言：

Language	Status
English (en)	?
German (de)	?
Spanish (es)	?
French (fr)	?
Hindi (hi)	?
Italian (it)	?
Japanese (ja)	?
Korean (ko)	?
Polish (pl)	?
Portuguese (pt)	?
Russian (ru)	?
Turkish (tr)	?
Chinese, simplified (zh)	?

我個人(ren)在HuggingFace試用了一(yi)下，真的(de)很牛，不過一(yi)開始隨便試用時候稍(shao)有不慎會(hui)出現很奇怪的(de)合成音，聽(ting)起來蠻恐(kong)怖。就和使用Stable Diffusion時畫出了非人(ren)類的(de)頭一(yi)樣(yang)...

生物醫學領域大模型

LLaVA-Med：面向生物醫學領域(yu)的大語言模型和視覺(jue)模型

微軟(ruan)發(fa)布(bu)了LLaVA-Med，要做醫藥(yao)領(ling)域的GPT-4，支持多(duo)模(mo)態。可以識別X光(guang)片(pian)的信息。

Github：

北京智源研究院LLM Aquila-7B

Aquila-7B：北京(jing)智(zhi)源研究院(yuan)開放的國產可商用的LLM

支持(chi)中(zhong)英雙語知識、支持(chi)商用許(xu)可協議、符合(he)國內數據合(he)規要求。后(hou)續還(huan)會發(fa)布33B模型。

Github：

智(zhi)源(yuan)研(yan)究院(yuan)和智(zhi)譜AI同(tong)源(yuan)，后(hou)者(zhe)目前(qian)掌握了GLM系列。目前(qian)看后(hou)續前(qian)者(zhe)更主(zhu)(zhu)要(yao)做學術研(yan)究，后(hou)者(zhe)主(zhu)(zhu)要(yao)做商業化。

Aquila語(yu)(yu)言(yan)大模(mo)(mo)型(xing)在(zai)技(ji)術(shu)上繼承了GPT-3、LLaMA等的架構設計優點，Aquila語(yu)(yu)言(yan)大模(mo)(mo)型(xing)是在(zai)中(zhong)(zhong)英文(wen)高質量語(yu)(yu)料(liao)基礎上從０開始訓練的，通過數據(ju)質量的控制(zhi)、多種(zhong)訓練的優化方法(fa)，實現在(zai)更小的數據(ju)集、更短的訓練時間(jian)，獲得比(bi)其它開源(yuan)模(mo)(mo)型(xing)更優的性能。也是首(shou)個支持中(zhong)(zhong)英雙語(yu)(yu)知(zhi)識(shi)、支持商(shang)用許可(ke)協(xie)議、符合(he)國內數據(ju)合(he)規(gui)需(xu)要的大規(gui)模(mo)(mo)開源(yuan)語(yu)(yu)言(yan)模(mo)(mo)型(xing)。

Aquila-7B和(he)Aquila-33B開(kai)源(yuan)模(mo)型使用 智(zhi)源(yuan)Aquila系列模(mo)型許可(ke)協議, 原始代碼基于Apache Licence 2.0。

王小川 百川LLM

王小(xiao)川組(zu)建的「百川智能」正(zheng)式(shi)推出(chu)首個70億參(can)數中英文LLM——baichuan-7B。國產、開源、免(mian)費、可商(shang)用。

Github：

產品

金融GPT：FinGPT

作者使用(yong)中國金(jin)融市(shi)場數據和美國金(jin)融市(shi)場數據，分別用(yong)ChatGLM和LLaMA模型(xing)，配合Lora訓(xun)練，做出了FinGPT

能夠實現如下應用：

1. 智能投顧

• ChatGPT可以像專業人士一樣進行投資建議。
• 在這個例子中，蘋果的股價上漲與ChatGPT分析新聞的預測相符。

2. 量化交易

• 我們還可以使用新聞、社交媒體推文或者公司公告來構建情感因子，右側的部分是由Twitter推文和ChatGPT信號產生的交易結果，數據來自于一個稱為的數據集。
• 正如您從圖片中所看到的，由ChatGPT生成的交易信號非常出色，我們甚至可以僅通過根據Twitter情感因子交易而獲得良好的結果。
• 因此，我們可以通過結合價格因素來獲得更好的結果。

3. 低代碼開發

• 我們可以使用LLMs的幫助來編寫代碼。
• 右側顯示了我們如何快速高效地開發我們的因子和其他代碼。

微軟HuggingGPT

解(jie)決(jue)不同領(ling)域(yu)和模態(tai)的(de)(de)(de)AI任務(wu)是邁(mai)向(xiang)人工(gong)智能的(de)(de)(de)關鍵一步。雖然現(xian)在有大量的(de)(de)(de)AI模型可(ke)以(yi)用(yong)(yong)于(yu)(yu)解(jie)決(jue)不同的(de)(de)(de)領(ling)域(yu)和模態(tai)的(de)(de)(de)問題，但是它們不能解(jie)決(jue)復雜的(de)(de)(de)AI問題。由于(yu)(yu)大模型(LLM)在語言理(li)(li)解(jie)、生成、交互(hu)和推理(li)(li)上(shang)展現(xian)出很強的(de)(de)(de)能力(li)，所以(yi)作(zuo)(zuo)者(zhe)認為LLM可(ke)以(yi)充當一個控制(zhi)器(qi)的(de)(de)(de)作(zuo)(zuo)用(yong)(yong)來管理(li)(li)現(xian)有的(de)(de)(de)AI模型以(yi)解(jie)決(jue)復雜的(de)(de)(de)AI任務(wu)，并(bing)且語言可(ke)以(yi)成為一個通用(yong)(yong)的(de)(de)(de)接口來啟動AI處理(li)(li)這(zhe)些任務(wu)。基(ji)于(yu)(yu)這(zhe)個想法，作(zuo)(zuo)者(zhe)提出HuggingGPT，一個框(kuang)架用(yong)(yong)于(yu)(yu)連接不同的(de)(de)(de)AI模型來解(jie)決(jue)AI任務(wu)。

具體的步驟是：

0. 任務規劃：使用ChatGPT來獲取用戶請求
1. 模型選擇：根據Hugging Face中的函數描述選擇模型，并用選中的模型執行AI任務
2. 任務執行：使用第2步選擇的模型執行的任務，總結成回答返回給ChatGPT
3. 回答生成：使用ChatGPT融合所有模型的推理，生成回答返回給用戶

通過ChatGPT的強語言(yan)能力(li)和Hugging Face豐(feng)富(fu)的模(mo)型(xing)庫，HuggingGPT可以解決大部分復雜的AI任務，為走(zou)向真(zhen)正的人工智能奠定基石。

AI知識庫

我(wo)自己試(shi)了試(shi)，有(you)一(yi)個很好的思路(lu)。當(dang)大(da)家寫(xie)文(wen)章，或者做視(shi)頻沒靈感時，可以現在心里想一(yi)個主題，讓AIbus開(kai)始發散思維，進行(xing)簡(jian)單的頭(tou)腦(nao)風暴(bao)。

你可以給他設(she)定文(wen)字基調(diao)：

可(ke)以設定文案的(de)閱讀受眾，生成對應(ying)理解力(li)的(de)語句：

假設我要寫(xie)一篇(pian)關于Java String字符串的介紹的博(bo)客，我以Java String為關鍵(jian)詞，下圖是他(ta)為我一步步生(sheng)成(cheng)的文案，并且(qie)配(pei)圖也是生(sheng)成(cheng)的。

我(wo)現在(zai)越(yue)(yue)來越(yue)(yue)覺得寫(xie)(xie)技(ji)術博客(ke)越(yue)(yue)來越(yue)(yue)是個偽(wei)命(ming)題，尤其是基礎知識相(xiang)關的(de)博客(ke)，就(jiu)算寫(xie)(xie)出來了也是給AI大模型輸(shu)送營(ying)養。

AI視頻換風格

給它一個原始視頻，然(ran)后選擇(ze)一種想(xiang)要(yao)的(de)風格，AI幫你(ni)自動生成(cheng)新的(de)風格視頻。

我自己也用官(guan)方Demo視(shi)頻試了試，它(ta)可以支持在生成后視(shi)頻的基礎上再次微調參數，修改提示詞，進行(xing)迭代。我生成的效果(guo)不是(shi)特(te)別(bie)理想，應該還(huan)需要調整。

工具

Vercel 推出AI SDK

Vercel 是(shi)知名的(de)云開發(fa)(fa)服務商，這次它(ta)內(nei)置(zhi)了(le)與OpenAI、LangChain和(he)(he)Hugging Face Inference的(de)協作(zuo)模塊，目的(de)是(shi)讓開發(fa)(fa)者(zhe)專注于產(chan)品研發(fa)(fa)，而不(bu)是(shi)基(ji)礎設施搭建。 一(yi)個預想不(bu)一(yi)定對：以后做web AI產(chan)品，用Vercel和(he)(he)OpenAI就夠(gou)了(le)。

通過SD將二維碼變成圖像

這個網站(zhan)教(jiao)你如何使用 Stable Diffusion，將(jiang)二維(wei)碼變(bian)成一幅(fu)圖像。

我覺得這個(ge)很(hen)(hen)有意義，很(hen)(hen)多地(di)方商家張貼各(ge)種二維碼真的(de)很(hen)(hen)丑，如(ru)果能夠植入商家的(de)宣傳圖片(pian)，比如(ru)美食，產品，人(ren)像，是真的(de)有用，可以商業化。

參考

Meta360創新學(xue)院-AGI前夜

Github Trending