摘要：
從零開始解析Transformer，目標是：(1) 解析Transformer如何運作，以及為何如此運作，讓新同學可以入門；(2) 力爭融入一些比較新的或者有特色的論文或者理念，讓老鳥也可以有所收獲。 閱讀全文
posted @ 2025-03-21 18:10
羅西的思考
閱(yue)讀(8217)
評論(0)
推薦(7)
摘要： 
## 0x01 廣告 經過一年多的努力，我的書 《分布式機器學習——系統、工程與實戰》終于上架了，在這里打個廣告。  閱讀全文
## 0x01 廣告 經過一年多的努力，我的書 《分布式機器學習——系統、工程與實戰》終于上架了，在這里打個廣告。  閱讀全文
posted @ 2023-07-21 23:50
羅西的思考
閱讀(2471)
評論(7)
推薦(jian)(3)
摘要：
前幾篇文章我們介紹了 PyTorch 流水線并行的基本知識，自動平衡機制和切分數據等，本文我們結合論文內容來看看如何實現流水線依賴，核心就是如何建立這些小批次之間的跨設備依賴關系。 閱讀全文
posted @ 2021-10-07 10:54
羅西的思考
閱讀(2993)
評論(4)
推薦(3)
摘要：
Celery是一個簡單、靈活且可靠的，處理大量消息的分布式系統，專注于實時處理的異步任務隊列，同時也支持任務調度。本系列將通過源碼分析，和大家一起深入學習 Celery。本文是系列第二篇，繼續探究 Celery 架構。 閱讀全文
posted @ 2021-03-27 10:02
羅西的思考
閱讀(2694)
評論(0)
推薦(jian)(0)
摘要：
【Agent】生成式隱式記憶 MemGen 源碼解讀 目錄【Agent】生成式隱式記憶 MemGen 源碼解讀0x00 概要0x01 背景0x02 源碼解析2.1 模型2.1.1 核心特色2.1.2 網絡結構2.1.3 代碼2.1.4 插入階段forwardgenerate核心作用核心特色推理生成流 閱讀全文
posted @ 2025-11-10 19:50
羅西的思考
閱(yue)讀(72)
評論(0)
推(tui)薦(jian)(1)
摘要：
【Agent】 ACE（Agentic Context Engineering）源碼閱讀筆記 （3）關鍵創新 目錄【Agent】 ACE（Agentic Context Engineering）源碼閱讀筆記 （3）關鍵創新0x00 概要0x01 增量式 Delta 更新1.1 原理1.2 源碼解讀0 閱讀全文
posted @ 2025-11-06 21:01
羅西的思考
閱讀(du)(95)
評論(0)
推薦(0)
摘要：
[Agent] ACE（Agentic Context Engineering）源碼閱讀筆記 （2）訓練 目錄[Agent] ACE（Agentic Context Engineering）源碼閱讀筆記 （2）訓練0x00 概要0x01 AdapterBase1.1 定義1.2 核心流程1.3 主要 閱讀全文
posted @ 2025-11-05 20:41
羅西的思考
閱讀(106)
評論(0)
推薦(0)
摘要：
[Agent] ACE（Agentic Context Engineering）源碼閱讀筆記 （1）基礎模塊 目錄[Agent] ACE（Agentic Context Engineering）源碼閱讀筆記 （1）基礎模塊0x00 概要0x01 示例1.1 建立簡單Agent1.2 后續操作Load 閱讀全文
posted @ 2025-11-04 21:58
羅西的思考
閱讀(du)(128)
評論(0)
推薦(0)
摘要：
MPK 包含內置 GPU 運行時系統，可在單個 GPU 巨型內核內完整執行任務圖。這使得系統能在推理過程中無需額外內核啟動的情況下，實現任務執行與調度的細粒度控制，以實現高吞吐量與低延遲。 閱讀全文
posted @ 2025-11-02 20:58
羅西的思考
閱讀(61)
評(ping)論(0)
推(tui)薦(1)
摘要：
MPK（Mirage Persistent Kernel）源碼筆記（4） 轉譯系統 目錄MPK（Mirage Persistent Kernel）源碼筆記（4） 轉譯系統0x00 概要0x01 Task和Event1.1 可執行任務1.1.1 任務定義1.1.2 任務類型1.2 事件1.2.1 事件 閱讀全文
posted @ 2025-10-31 21:02
羅西的思考
閱(yue)讀(46)
評論(0)
推薦(0)
摘要：
MPK（Mirage Persistent Kernel）源碼筆記（3） 系統接口 目錄MPK（Mirage Persistent Kernel）源碼筆記（3） 系統接口0x00 概述0x01 流程0x02 初始化0x03 定義計算圖0x04 編譯0x05 執行0xFF 參考 0x00 概述 因為轉 閱讀全文
posted @ 2025-10-29 21:12
羅西的思考
閱(yue)讀(du)(62)
評論(0)
推薦(0)
摘要：
MPK（Mirage Persistent Kernel）源碼筆記（2） 多層結構化圖模型 目錄MPK（Mirage Persistent Kernel）源碼筆記（2） 多層結構化圖模型0x00 概要0x01 機制1.1 當前問題1.2 解決方案1.2.1 μGraphs：多層次計算圖表示1.2.2 閱讀全文
posted @ 2025-10-26 15:33
羅西的思考
閱讀(66)
評論(0)
推薦(jian)(1)
摘要：
MPK（Mirage Persistent Kernel）源碼筆記（1） 基礎原理 目錄MPK（Mirage Persistent Kernel）源碼筆記（1） 基礎原理0x00 概要0.1 傳統LLM推理框架的瓶頸0.2 MPK的流程重構0.3 MPK的關鍵優勢0x01 問題1.1 現有框架問題1 閱讀全文
posted @ 2025-10-23 21:22
羅西的思考
閱(yue)讀(81)
評(ping)論(0)
推薦(0)
摘要：
[Agent] ACE（Agentic Context Engineering）和Dynamic Cheatsheet學習筆記 目錄[Agent] ACE（Agentic Context Engineering）和Dynamic Cheatsheet學習筆記0x00 概述0x01 ACE1.1 背景 閱讀全文
posted @ 2025-10-19 20:31
羅西的思考
閱讀(du)(213)
評論(0)
推薦(0)