假(jia)如(ru)你(ni)(ni)有(you)一個(ge)購物(wu)類(lei)的(de)(de)網站，那么(me)你(ni)(ni)如(ru)何給你(ni)(ni)的(de)(de)客戶來推(tui)薦產品呢？這個(ge)功能(neng)在很(hen)多電商類(lei)網站都有(you)，那么(me)，通過(guo)SQL Server Analysis Services的(de)(de)數(shu)據挖掘(jue)功能(neng)，你(ni)(ni)也可以(yi)輕(qing)松的(de)(de)來構(gou)建類(lei)似的(de)(de)功能(neng)。

將分(fen)為三個(ge)部(bu)分(fen)來演(yan)示如何實現(xian)這(zhe)個(ge)功能(neng)。

1.構建挖掘模型

2.為挖掘模型編寫服務接口

3.開發簡單的前端應用

4.使用Excel進行關聯商品分析

5.組織數據并用Excel進行關聯商品分析

6.使用DMX創建挖據模型 

7.使用AMO創建挖掘模型 

8.使用SSAS的CLR存儲過程 

第一篇介紹如何使用SQL Server Analysis Services基于此問題來構建簡單的挖掘模型。

關于(yu)數據(ju)(ju)(ju)(ju)挖掘，簡(jian)單的(de)就(jiu)是說(shuo)從(cong)海(hai)量(liang)(liang)數據(ju)(ju)(ju)(ju)中發(fa)(fa)(fa)現信息(xi)的(de)一(yi)個過(guo)程。如果說(shuo)商業智能分(fen)為(wei)三(san)個層次：告訴(su)你(ni)發(fa)(fa)(fa)生了(le)什(shen)么(me)，為(wei)什(shen)么(me)會(hui)發(fa)(fa)(fa)生，將(jiang)來會(hui)發(fa)(fa)(fa)生什(shen)么(me)。那么(me)，數據(ju)(ju)(ju)(ju)挖掘絕(jue)對算是商業智能中最高(gao)的(de)一(yi)個層次，告訴(su)你(ni)將(jiang)來會(hui)發(fa)(fa)(fa)生什(shen)么(me)，也就(jiu)是預(yu)測(ce)。而預(yu)測(ce)的(de)基(ji)礎就(jiu)是根據(ju)(ju)(ju)(ju)海(hai)量(liang)(liang)的(de)歷(li)史(shi)數據(ju)(ju)(ju)(ju)，結合一(yi)定(ding)的(de)算法(fa)，以(yi)概率為(wei)基(ji)礎，告訴(su)你(ni)一(yi)條(tiao)新數據(ju)(ju)(ju)(ju)某條(tiao)屬性的(de)趨(qu)勢。

數據挖(wa)掘的(de)(de)模(mo)(mo)型(xing)很(hen)多，貝(bei)葉(xie)斯，時(shi)間(jian)序列，關聯(lian)規則等都是常用(yong)的(de)(de)模(mo)(mo)型(xing)，根(gen)據不同的(de)(de)問題(ti)(ti)特征可(ke)以套用(yong)不同的(de)(de)模(mo)(mo)型(xing)算法。比如此篇提到的(de)(de)商(shang)品推薦，就是典型(xing)的(de)(de)適合用(yong)關聯(lian)規則來解(jie)決。在數據挖(wa)掘中典型(xing)的(de)(de)啤酒(jiu)和尿布的(de)(de)問題(ti)(ti)，大體上就是基(ji)于這個方法。

通過第一篇的(de)內容，你可以基本掌握如何構建(jian)一個基于關(guan)聯規則的(de)數據挖掘模型。

第二篇在上一篇已經構建好挖掘模型的基礎之上，介紹如何構建服務接口。

編(bian)寫(xie)服務接口的方法很多，比(bi)如使(shi)用(yong)WCF。為(wei)了簡(jian)便，這(zhe)里直(zhi)接使(shi)用(yong)ASP.NET Web Services。

將挖掘模型的(de)(de)具體(ti)查詢的(de)(de)實現部分寫到(dao)Web服(fu)(fu)務(wu)(wu)(wu)代(dai)(dai)碼中，主要(yao)是(shi)(shi)考慮到(dao)代(dai)(dai)碼分層降(jiang)低耦合性。另外這部分邏輯通(tong)過(guo)(guo)(guo)服(fu)(fu)務(wu)(wu)(wu)的(de)(de)方式來(lai)(lai)暴露(lu)接(jie)口，可以方便(bian)其它任何(he)平臺來(lai)(lai)進行調(diao)(diao)用(yong)(yong)，比如ASP.NET, Winform, WPF或者其它基于java的(de)(de)技術框架等。Web服(fu)(fu)務(wu)(wu)(wu)最(zui)主要(yao)的(de)(de)部分是(shi)(shi)XML，一(yi)個(ge)(ge)(ge)(ge)(ge)(ge)服(fu)(fu)務(wu)(wu)(wu)接(jie)口往往就(jiu)是(shi)(shi)一(yi)個(ge)(ge)(ge)(ge)(ge)(ge)URL地址，客(ke)戶(hu)端(duan)程序(xu)通(tong)過(guo)(guo)(guo)向這個(ge)(ge)(ge)(ge)(ge)(ge)地址發送xml請求的(de)(de)方式，來(lai)(lai)獲取服(fu)(fu)務(wu)(wu)(wu)端(duan)代(dai)(dai)碼的(de)(de)響應(ying)，結(jie)果再(zai)以xml的(de)(de)方式返回回來(lai)(lai)。那么既然來(lai)(lai)回通(tong)信的(de)(de)都是(shi)(shi)xml數(shu)據，是(shi)(shi)否意味這還要(yao)手(shou)動寫代(dai)(dai)碼來(lai)(lai)序(xu)列(lie)化(hua)和(he)反(fan)序(xu)列(lie)化(hua)xml數(shu)據呢？這里面又涉及到(dao)一(yi)個(ge)(ge)(ge)(ge)(ge)(ge)SOAP的(de)(de)概念(nian)，這是(shi)(shi)一(yi)個(ge)(ge)(ge)(ge)(ge)(ge)在(zai)(zai)(zai)10年前很(hen)火(huo)的(de)(de)概念(nian)，簡單(dan)對象訪(fang)問協(xie)議。通(tong)過(guo)(guo)(guo)這個(ge)(ge)(ge)(ge)(ge)(ge)SOAP協(xie)議，客(ke)戶(hu)端(duan)程序(xu)可以知道(dao)要(yao)訪(fang)問一(yi)個(ge)(ge)(ge)(ge)(ge)(ge)Web服(fu)(fu)務(wu)(wu)(wu)，應(ying)該發送什么樣(yang)的(de)(de)xml數(shu)據，以及收(shou)到(dao)服(fu)(fu)務(wu)(wu)(wu)端(duan)xml的(de)(de)數(shu)據之后(hou)，本地再(zai)如何(he)解析(xi)這些(xie)數(shu)據。基于這樣(yang)一(yi)個(ge)(ge)(ge)(ge)(ge)(ge)方式，Visual Studio中，當你(ni)引用(yong)(yong)一(yi)個(ge)(ge)(ge)(ge)(ge)(ge)服(fu)(fu)務(wu)(wu)(wu)的(de)(de)時候，它就(jiu)會根(gen)據這個(ge)(ge)(ge)(ge)(ge)(ge)協(xie)議，在(zai)(zai)(zai)你(ni)本地生成若干代(dai)(dai)理類(lei)，這樣(yang)在(zai)(zai)(zai)你(ni)調(diao)(diao)用(yong)(yong)遠程的(de)(de)一(yi)個(ge)(ge)(ge)(ge)(ge)(ge)Web服(fu)(fu)務(wu)(wu)(wu)的(de)(de)時候，你(ni)就(jiu)會感覺像是(shi)(shi)在(zai)(zai)(zai)調(diao)(diao)用(yong)(yong)本地里的(de)(de)一(yi)個(ge)(ge)(ge)(ge)(ge)(ge)類(lei)的(de)(de)方法一(yi)樣(yang)方便(bian)。

通過第二篇的(de)內(nei)容，你可以(yi)基(ji)本(ben)掌握做數(shu)據挖掘查詢的(de)基(ji)本(ben)方法，以(yi)及如何使(shi)用(yong)數(shu)據挖掘模型。

第三篇在上兩篇已經構建好挖掘模型和服務層的基礎之上，介紹如何構構建簡單的前端應用來做商品推薦功能。

由于我們用的(de)是Web服務的(de)方法(fa)來封裝挖(wa)掘模型的(de)查詢，所以(yi)理論上這個(ge)服務可以(yi)被很多客戶(hu)端應(ying)用程序訪問，比(bi)如ASP.NET, winform和WPF等(deng)，這里(li)我們選擇Silverlight 5。

Silverlight 5是(shi)跟(gen)FLASH差不多的東西，是(shi)微軟平臺下(xia)的RIA方案。在這(zhe)個平臺下(xia)我(wo)們可以通過(guo)XAML開(kai)發出絢麗的應用程序。

雖然(ran)它的(de)(de)光輝已經快被(bei)HTML5所掩蓋，而(er)且微(wei)軟也(ye)停(ting)止(zhi)了后續版本的(de)(de)更新，全力的(de)(de)投入到HTML5中(zhong)，但是(shi)HTML5成(cheng)型還尚早，在企業開發(fa)中(zhong)，Silverlight還是(shi)有十足的(de)(de)魅力和足夠的(de)(de)優勢以(yi)及(ji)強大(da)的(de)(de)開發(fa)工具支持。

當然，如果你(ni)得項目是(shi)ASP.NET或者其(qi)它類型的(de)(de)(de)項目，那(nei)么也(ye)可以參考(kao)此篇來進行操作(zuo)。實際上(shang)此篇對于一(yi)個(ge)(ge)有經驗的(de)(de)(de)前端開發人(ren)員(yuan)意(yi)義不大，因為這(zhe)里主要講的(de)(de)(de)是(shi)如何調用一(yi)個(ge)(ge)Web服務。但作(zuo)為一(yi)個(ge)(ge)系列(lie)考(kao)慮(lv)到每個(ge)(ge)人(ren)的(de)(de)(de)側重點都不同，為了做一(yi)個(ge)(ge)整體(ti)的(de)(de)(de)介(jie)紹(shao)，所以這(zhe)里還(huan)將細(xi)致(zhi)到每一(yi)步的(de)(de)(de)操作(zuo)。

通過第三篇的(de)內容，你(ni)可以看到如何通過一個客戶端(duan)程序訪問(wen)服(fu)務(wu)接(jie)口然后做挖掘預測查詢從而實現商(shang)品(pin)推薦功能。

第四篇獨立于前三篇，主要介紹如何通過Excel的數據挖掘來獨立的實現商品推薦功能，將通過微軟提供的示例數據來進行演示。

Excel是大家再熟悉不過(guo)的(de)(de)工具，它是微(wei)軟Office里的(de)(de)組件之一(yi)。在baidu百科中你可以(yi)找到如(ru)下的(de)(de)描述：

Excel 是微(wei)軟(ruan)辦公套裝軟(ruan)件的(de)(de)一個重要的(de)(de)組成(cheng)部分，它可以進行各種數據的(de)(de)處理、統計分析和輔助決(jue)策(ce)操(cao)作，廣(guang)泛地應(ying)用于管理、統計財經、金融等眾多(duo)領(ling)域。

數據處(chu)理，統計(ji)分(fen)析是我(wo)們經常用Excel來做的(de)事，而輔助決策對應(ying)商業智能(neng)中的(de)最高的(de)一個層次，也就(jiu)是微軟提供的(de)Excel數據挖掘功能(neng)。

在Excel中進行數據挖掘(jue)，需要(yao)安(an)裝一個(ge)插(cha)件：SQL Server Data Mining Tools Add-ins for Office。

通過第四篇的內容，你(ni)可以(yi)看到如(ru)何通過Excel實現(xian)商品推薦功能。

第五篇承接上一篇，主要介紹如何組織數據然后通過Excel的數據挖掘來獨立的實現商品推薦功能。

上一篇中(zhong)我們演(yan)示了(le)如(ru)何用(yong)微軟提供的(de)Data Mining for Add-ins里的(de)示例數(shu)(shu)據來(lai)(lai)實現挖(wa)掘預測分(fen)析的(de)功能(neng)，此篇我們用(yong)Adventure Works來(lai)(lai)演(yan)示如(ru)何來(lai)(lai)組織數(shu)(shu)據在Excel中(zhong)進(jin)行挖(wa)掘預測。

微軟提供的(de)Adventure Works示例庫(ku)分為OLTP庫(ku)和OLAP庫(ku)，前(qian)者記錄業務數(shu)據，在(zai)(zai)一個(ge)系統中的(de)業務數(shu)據通常都是操作在(zai)(zai)這(zhe)一層，業務數(shu)據層經過(guo)ETL的(de)清洗加載和轉換進(jin)入到數(shu)據倉庫(ku)，供分析系統做(zuo)統計(ji)分析。

關于如何獲取并且安裝這些示例庫，可以參考我的這篇隨筆。

通過第五篇的內(nei)容(rong)，你可以簡(jian)單的了解如(ru)何組織數據挖掘的樣本數據，并且在Excel中導入。 

第六篇為獨立的一篇，主要演示如何通過DMX創建挖掘模型。

前幾篇(pian)中，簡要的(de)(de)介(jie)紹如何建(jian)立挖掘模(mo)型并(bing)且編寫程序用簡單(dan)(dan)的(de)(de)DMX查詢挖掘模(mo)型從而實現預測(ce)(ce)(ce)，然(ran)后簡要介(jie)紹如何在Excel中獨立地進行預測(ce)(ce)(ce)分析。此篇(pian)講簡單(dan)(dan)介(jie)紹如何通過DMX語句創建(jian)挖掘結構和挖掘模(mo)型，并(bing)且訓練模(mo)型，然(ran)后進行預測(ce)(ce)(ce)查詢。

在分(fen)析服(fu)務中(zhong)(zhong)涉(she)及(ji)到很多(duo)門查(cha)詢語言，首先(xian)，SQL語言是我們最熟悉不(bu)過(guo)的了。在分(fen)析服(fu)務中(zhong)(zhong)，可(ke)以通過(guo) SQL來為(wei)多(duo)維數(shu)(shu)(shu)據(ju)集建(jian)立分(fen)區，或者(zhe)在數(shu)(shu)(shu)據(ju)挖(wa)掘中(zhong)(zhong)指定訓(xun)練數(shu)(shu)(shu)據(ju)或者(zhe)預測(ce)數(shu)(shu)(shu)據(ju)。其次，MDX，可(ke)以用它(ta)來查(cha)詢多(duo)維數(shu)(shu)(shu)據(ju)集。然后(hou)就是本文所(suo)介紹的DMX，它(ta)主(zhu)要面向分(fen)析服(fu)務中(zhong)(zhong)的數(shu)(shu)(shu)據(ju)挖(wa)掘部分(fen)，通過(guo)它(ta)可(ke)以建(jian)立挖(wa)掘結構和挖(wa)掘模型(xing)，以及(ji)訓(xun)練數(shu)(shu)(shu)據(ju)和做(zuo)預測(ce)查(cha)詢。

在(zai)微軟的(de)文檔及示例還有很多(duo)圖書著作中，通過DMX的(de)方式通常(chang)被分(fen)為三個(ge)步驟： 1.建立挖(wa)(wa)掘(jue)結構(gou) 2.建立挖(wa)(wa)掘(jue)模型 3.訓練數據(ju) 4.預測(ce)查詢(xun)

通過第六篇的(de)內容，你可以簡單的(de)了解如(ru)何組織數據挖掘的(de)樣(yang)本數據，并且在Excel中導入。

第七篇繼承上一篇，主要演示如何通過AMO創建挖掘模型

上一篇(pian)中介紹(shao)的(de)是如(ru)何通過DMX來創(chuang)建挖(wa)掘模型(xing)，這(zhe)一篇(pian)講(jiang)簡單介紹(shao)如(ru)何通過編程的(de)方式來創(chuang)建挖(wa)掘模型(xing)。

通(tong)過(guo)編程的方式(shi)主要通(tong)過(guo)AMO來實現(xian)(xian)(xian)，分析服務的所有跟架構相關的實現(xian)(xian)(xian)，包括(kuo)多維數據(ju)集(ji)和數據(ju)挖掘(jue)，都通(tong)過(guo)這個接口實現(xian)(xian)(xian)。

AMO對象樹包含了支持多維數據集和數據挖掘所有的對象模型，在我這篇隨筆中可以詳(xiang)細看到它的結構。

通過第七篇一段完整的演示，你可以了解到使用AMO創建模型的具體細節變成方法(fa)。

第八篇繼承前幾篇，主要演示在分析服務下創建CLR存儲過程的完整過程

在SQLServer數據(ju)引擎服務中，編(bian)寫(xie)存儲過程(cheng)，我們可以(yi)通過SQL語句以(yi)及(ji)(ji)CLR的(de)方(fang)式進(jin)行(xing)編(bian)寫(xie)。那么在分析(xi)服務下(xia)能(neng)否(fou)寫(xie)存儲過程(cheng)呢？答(da)案是(shi)可以(yi)的(de)，只(zhi)不(bu)過是(shi)只(zhi)能(neng)通過CLR的(de)方(fang)式來實(shi)現(xian)。以(yi)下(xia)記(ji)錄(lu)實(shi)現(xian)過程(cheng)及(ji)(ji)要(yao)點(dian)。

通過第八篇一(yi)段完整的(de)演示(shi)，你可以了解到(dao)創建CLR存(cun)儲(chu)過程的(de)步驟。

希望這(zhe)個小(xiao)系列(lie)能在項(xiang)目中(zhong)幫到大家。

文章相關文件下載：

用到的資源：

如何獲取官方的示例庫并且部署它們

相關插件下載：