每天(tian)都要(yao)瀏覽(lan)大量AI相關新聞，是不是感到信息(xi)量爆炸，有效信息(xi)少？

這么(me)多新(xin)產品和(he)新(xin)工具，到底(di)哪(na)些是(shi)(shi)真(zhen)正(zheng)是(shi)(shi)有價值(zhi)的(de)，哪(na)些只(zhi)是(shi)(shi)浮躁的(de)一時熱點(dian)？

想參與AI產品和工具的開發，從哪里能夠獲得大量的靈(ling)感和思路？

我會把AI相關的(de)新(xin)(xin)趨勢、新(xin)(xin)想法、新(xin)(xin)思路，和成熟AI產品、工具、模型等整理在(zai)這里，幫助大家去除信息噪音，更高效的(de)了解AI前(qian)沿發展。

主要圍繞：

• AI業界趨勢、想法、思路
• AI產品
• AI開發者工具
• AI模型

作為本期刊的第(di)一期，我們主要圍(wei)繞2023年4月發布的相關(guan)產品和技術工具。

終端產品

AI中國法律助手

該項目把 中國法律(lv)文書 作為知識庫，將知識庫embedding后存入向(xiang)量數據庫，然后向(xiang)用戶(hu)提供(gong)了完整界面，用戶(hu)可以用自然語(yu)言提問(wen)，后臺使用openAI的(de)API，結合知識庫的(de)現(xian)有知識進行自然語(yu)言的(de)回答(da)。

主要技術：

• 預處理知識庫
• 在PostgreSQL中使用 pgvector 存儲嵌入向量。
• 執行向量相似性搜索，查找與問題相關的內容。
• 將內容注入到OpenAI GPT-3文本自動補全中，并將響應流式傳輸到客戶端。

HuggingChat

Hugging Face發(fa)(fa)布(bu)了一個ChatGPT開(kai)源(yuan)替代品名為HuggingChat。Hugging Face大(da)家都懂的(de)，可以理解成(cheng)AI界的(de)Github，很(hen)多注(zhu)明的(de)開(kai)源(yuan)模(mo)型都在上面(mian)首發(fa)(fa)。

底層模型目前有兩種選擇：

金融/投資 GPT助手

FinChat.io是由ChatGPT提供技(ji)術支持的(de)工具。它(ta)利(li)用人工智能生成(cheng)關(guan)于(yu)公(gong)共公(gong)司和(he)投資者的(de)問題的(de)答案。為了提供準(zhun)確的(de)答案，FinChat會提供推理(li)、來源和(he)數據(ju)等支持。實(shi)測效果有點酷炫。

微軟AI設計器

輸入文(wen)字，通過(guo)AI生(sheng)成(cheng)一(yi)個(ge)合適的設(she)計(ji)圖(tu)，且(qie)支持動態圖(tu)。例如下面的文(wen)字描述"為我的油管頻道‘Science for Littles’設(she)計(ji)一(yi)個(ge)動態的廣(guang)告"生(sheng)成(cheng)了(le)右方的一(yi)些設(she)計(ji)圖(tu)，生(sheng)成(cheng)速度非常快，還可調節圖(tu)片尺寸。

選擇了(le)右方(fang)較為滿意(yi)的設計后，可以繼(ji)續在(zai)在(zai)線編輯器(qi)中修改(gai)你(ni)的設計，支持自由導(dao)出各種格式與下載。

AI Shell

將chatGPT整合到你的shell中，用ai命令進行操作

VLog

V是大寫(xie)，他可(ke)以將(jiang)一段長視(shi)(shi)頻轉換(huan)成包含視(shi)(shi)覺和音頻信息的文檔(dang)。通過將(jiang)此(ci)文檔(dang)發送(song)到ChatGPT，我們可(ke)以針(zhen)對這個視(shi)(shi)頻的內容進行自然(ran)語言聊天(tian)！當然(ran)，需要消耗你自己的openAI API額(e)度。

開發者工具

音頻能力工具集：AudioGPT

這個(ge)工(gong)(gong)具集里包含(han)了大量音(yin)頻相關的(de)處理能力工(gong)(gong)具，大部分(fen)工(gong)(gong)具使用時(shi)需要填寫你自己的(de)GPT API key，消耗(hao)你的(de)額(e)度，我試了一(yi)下(xia)，文字轉語音(yin)，一(yi)句(ju)5個(ge)詞(ci)的(de)句(ju)子(zi)，消耗(hao)了我4000個(ge)token！（暴風哭泣！）

演講：

• 文字轉語音
• 風格遷移
• 語音識別
• 語音增強
• 語音分離
• 語音翻譯
• 單聲道到雙聲道
• 文字轉唱

唱歌：

• 文字轉唱歌

音頻處理：

• 文本到音頻
• 音頻修復
• 圖像到音頻
• 聲音檢測
• 目標聲音檢測
• 聲音提取

大模型安全圍欄：NeMo-Guardrails

NeMo Guardrails 是(shi)一個開源工具包，可以(yi)(yi)輕松地將可編(bian)程護(hu)欄添加到基(ji)于 LLM 的對(dui)(dui)話系統(tong)中。Guardrails（或簡稱“rails”）是(shi)控制大型語(yu)言模型輸出的特定方式，例(li)如不談論政(zheng)治(zhi)、以(yi)(yi)特定方式響應(ying)特定用(yong)戶請求、遵循(xun)預定義的對(dui)(dui)話路徑、使用(yong)特定語(yu)言風格、提取結構化數據等。

主要優勢：

• 構建值得信賴、安全可靠的 LLM 對話系統：使用 NeMo Guardrails 的核心價值是能夠編寫 rails 來指導對話。開發人員可以選擇定義他們的 LLM 驅動的機器人在某些主題上的行為，并讓他們的創造力不受其他人的影響！
• 通過操作連接模型、鏈、服務等： LLM 不需要解決所有挑戰。NeMo Guardrails 提供了將您的代碼庫或服務無縫安全地連接到聊天機器人的能力！

chatGLM結合本地知識庫：langchain-chatGLM

一種利用(yong) ChatGLM-6B + langchain 實(shi)現(xian)的(de)基于本(ben)(ben)地(di)知(zhi)識的(de) ChatGLM 應用(yong)。支持將txt、markdown等格式的(de)文本(ben)(ben)文件上傳后(hou)，進行提問。會(hui)給(gei)出(chu)自然語(yu)言的(de)回答，并且在最后(hou)會(hui)標注出(chu)引用(yong)本(ben)(ben)地(di)文本(ben)(ben)的(de)出(chu)處。

本項目實(shi)現原理如下(xia)圖所(suo)示，過程(cheng)包括(kuo)加載文(wen)(wen)件 -> 讀取文(wen)(wen)本 -> 文(wen)(wen)本分割(ge) -> 文(wen)(wen)本向量化(hua) -> 問句向量化(hua) -> 在文(wen)(wen)本向量中匹(pi)(pi)配出與(yu)問句向量最相(xiang)似(si)的top k個(ge) -> 匹(pi)(pi)配出的文(wen)(wen)本作為上下(xia)文(wen)(wen)和問題一起添加到prompt中 -> 提交給LLM生成回答。

支持的LLM模型：

• THUDM/chatglm-6b
• THUDM/chatglm-6b-int8
• THUDM/chatglm-6b-int4
• THUDM/chatglm-6b-int4-qe
• ClueAI/ChatYuan-large-v2

支(zhi)持(chi)的Embedding 模(mo)型：

• nghuyong/ernie-3.0-nano-zh
• nghuyong/ernie-3.0-base-zh
• shibing624/text2vec-base-chinese
• GanymedeNil/text2vec-large-chinese

在任意消費級終端部署大模型：MLC LLM

MLC LLM是(shi)一種(zhong)通用解決方案，可以(yi)使任何語(yu)言(yan)模(mo)(mo)型在各種(zhong)硬件后端和本(ben)地應用程序上本(ben)地化部署，同時為所有人提供一個高(gao)效的框架，以(yi)進一步優化模(mo)(mo)型性能，以(yi)適應其自身用例。

我們的使命(ming)是使每個人都(dou)能(neng)夠在其設(she)備上本地開(kai)發(fa)、優(you)化和部(bu)署AI模型。

這個方向的(de)探索(suo)如果出現突(tu)破，將大(da)大(da)減少模型部署和(he)使(shi)用的(de)門(men)檻(jian)，讓全(quan)世(shi)界的(de)低算(suan)力設備也(ye)能加入AI算(suan)力陣營。

仿openAI風格API調用chatGLM：chatglm-openai-api

讓(rang)開(kai)(kai)發(fa)(fa)者能夠用(yong)調(diao)用(yong)openAI API的(de)方式調(diao)用(yong)其(qi)他開(kai)(kai)源模型，節省(sheng)大量開(kai)(kai)發(fa)(fa)工作(zuo)。

參考

Github Trending

Meta360創新學院-AGI前(qian)夜