中文字幕精品亚洲无线码二区,国产黄a三级三级三级看三级,亚洲七七久久桃花影院,丰满少妇被猛烈进入,国产小视频在线观看网站

EF架(jia)構~擴展一個分頁處理大數(shu)據(ju)的方法

回到目錄

最(zui)近(jin)總遇到大(da)(da)數(shu)(shu)據(ju)的(de)(de)問題，一(yi)次性處(chu)理幾千萬數(shu)(shu)據(ju)不實際，所以(yi)，我們需要(yao)對大(da)(da)數(shu)(shu)據(ju)進行(xing)分塊處(chu)理，或(huo)者叫分頁處(chu)理，我在EF架構(gou)里曾經寫過類(lei)似的(de)(de)，那是在進行(xing)BulkInsert時，對大(da)(da)數(shu)(shu)據(ju)批量(liang)插(cha)入時候用(yong)到的(de)(de)，現(xian)在我把它(ta)拿(na)出(chu)來，放在IQueryableExtensions類(lei)中(zhong)，即它(ta)將作為IQueryable的(de)(de)一(yi)個擴展出(chu)現(xian)，我們可以(yi)把這個分頁處(chu)理的(de)(de)邏輯應用(yong)的(de)(de)更加(jia)廣泛，并且(qie)，在這個整理中(zhong)，提供了(le)異步(bu)并行(xing)版本，它(ta)比同(tong)版版本快了(le)幾十倍之(zhi)多，可以(yi)說，當前的(de)(de)服務器(qi)，只有使(shi)用(yong)了(le)并且(qie)計算之(zhi)后，才能發揮它(ta)的(de)(de)作用(yong)！

    　　 /// <summary>
        /// 并行(xing)分頁處理數據(ju)，提(ti)高系統利用率，提(ti)升系統性能
        /// </summary>
        /// <typeparam name="TEntity"></typeparam>
        /// <param name="item"></param>
        /// <param name="method"></param>
        public async static Task DataPageProcessAsync<T>(
　　　　　　IQueryable<T> item, 
　　　　　　Action<IEnumerable<T>> method) where T : class
        {
            await Task.Run(() =>
            {
                DataPageProcess<T>(item, method);
            });
        }

        /// <summary>
        /// 在主線程(cheng)上分頁處理數據
        /// </summary>
        /// <typeparam name="T"></typeparam>
        /// <param name="item"></param>
        /// <param name="method"></param>
        public static void DataPageProcess<T>(
　　　　　　IQueryable<T> item, 
　　　　　　Action<IEnumerable<T>> method) where T : class
        {
            if (item != null && item.Count() > 0)
            {
                var DataPageSize = 100;
                var DataTotalCount = item.Count();
                var DataTotalPages = item.Count() / DataPageSize;
                if (DataTotalCount % DataPageSize > 0)
                    DataTotalPages += 1;

                for (int pageIndex = 1; pageIndex <= DataTotalPages; pageIndex++)
                {
                    var currentItems = item.Skip((pageIndex - 1) * DataPageSize).Take(DataPageSize).ToList();
                    method(currentItems);
                }
            }
        }

事實上，有了上面的方法(fa)，以(yi)后在(zai)進行分面處(chu)理數據時，只要有IQueryable的結果集和要處(chu)理的方法(fa)傳進來就可以(yi)了，方便至(zhi)極！

下面代碼是選自(zi)我(wo)的FastSocket項目，對(dui)大(da)數據(ju)進行傳(chuan)輸時，使(shi)用(yong)的代碼

　　　　　　　　　　　　#region 分頁數據傳輸
                    DataPageProcessAsync(model, (list) =>
                    {
                        client.Send("DSSInsert"
                        , 1
                        , 1
                        , item.Name//VersionHelper.GetNumber(ProjectID.NewLearningBar)
                        , SerializeMemoryHelper.SerializeToBinary(list)
                        , res => res.Buffer).ContinueWith(c =>
                        {
                            if (c.IsFaulted)
                            {
                                throw c.Exception;
                            }
                            Console.WriteLine(BitConverter.ToBoolean(c.Result, 0));
                        });
                    });
                    #endregion

我自己試了同步方(fang)法DataPageProcess和(he)并行異步方(fang)法DataPageProcessAsync，后(hou)都比(bi)較前者(zhe)至少要快幾(ji)十倍，當然這和(he)你的ＣＰＵ有關(guan)，你的ＣＰＵ處理的線程數超多(duo)，這個倍數將會越大(da)！

回到目錄

posted @ 2015-02-05 13:57  張占嶺  閱讀(7200)  評論(3)    收藏  舉報