小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

ASP.NET + SqlSever 大數(shù)據(jù)解決方案 PK HADOOP

 昵稱10504424 2015-12-17

半個月前看到博客園有人說.NET不行那篇文章,我只想說你們有時間去抱怨不如多寫些實在的東西。

 

 1、SQLSERVER優(yōu)點和缺點?

     優(yōu)點:支持索引、事務(wù)、安全性以及容錯性高

     缺點:數(shù)據(jù)量達(dá)到100萬以上就需要開始優(yōu)化了,一般我們會對 表進(jìn)行水平拆分,分表、分區(qū)和作業(yè)同步等,這樣做大大提高了邏輯的復(fù)雜性,難以維護(hù),只有群集容錯,沒有多庫負(fù)載均衡并行計算功能。

 

 2、SQLSERVER真的不能處理大數(shù)據(jù)?

   答案:當(dāng)然可以的,打個比方:操作單一數(shù)據(jù)庫稱為一維操作,如果操作相同結(jié)構(gòu),分布在多個服務(wù)器上的多個數(shù)據(jù)庫這個可以稱為二維操作。 我們只需要對這個二維操作進(jìn)行一層封裝,讓他支持并行運算,把服務(wù)器壓力分散開,我們不需要寫太多東西,SQL已經(jīng)為我們封裝了很多,它就好比是一個巨人,而我們只需要站在他的肩膀上,就可以輕松實現(xiàn)針對WEB的大數(shù)據(jù)處理。

 

 3、hadoop適不適合.NET,他有哪些缺點?

   (1)、數(shù)據(jù)同步慢

   (2)、事務(wù)處理難

   (3)、異常捕獲難

   (4)、很難與ASP.NET結(jié)合,無論是學(xué)習(xí)學(xué)成本,還是自身的支持方面

   (5)、 需要安裝,適合離線大數(shù)據(jù)處理,但未必適合WEB

 

  4、什么是SqlSugar框架?

    SqlSugar是一款基于SqlSever的輕量級高性能ORM框架,除了具有和ADO.NET匹敵的性能外,現(xiàn)在已經(jīng)支持多庫并行計算。

 

     

    優(yōu)點:  

   (1)、適合海量數(shù)據(jù)的無延遲查詢

   (2)、支持分布式事務(wù)

   (3)、讓JOIN飛起來,告別大數(shù)據(jù)NOJOIN

   (4)、C#.NET自家語法和大量封裝函數(shù)

   (5)、隨機(jī)存儲,也就是說可以存儲在任意一個節(jié)點數(shù)據(jù)庫,做到真正正的負(fù)載均衡,而不是以往主從模式的讀寫分離。

     

    缺點:    SqlServer授權(quán)費太貴,適合有錢的公司或者不交授權(quán)費的創(chuàng)業(yè)小企業(yè) 

 

 

SqlSugar學(xué)習(xí)目錄

 1、SqlSugar基礎(chǔ)應(yīng)用

 2、使用SqlSugar處理大數(shù)據(jù)

 3、使用SqlSugar實現(xiàn)Join  待更新

 4、使用SqlSugar實現(xiàn)分頁+分組+多列排序 待更新

 5、節(jié)點故障如何進(jìn)行主從調(diào)換

 

》》》》2、使用SqlSugar處理大數(shù)據(jù)《《《 

 

 1、SqlSugar的原理

      Insert: 隨機(jī)存儲到某個節(jié)點數(shù)據(jù)庫(每個節(jié)點可以配置處理的機(jī)率,如果設(shè)置為0表示該節(jié)點不會有新數(shù)據(jù)添加進(jìn)來)

      Update、Delete:異步請求所有數(shù)據(jù)庫節(jié)點同步匯總處理結(jié)果

      Search: 對分頁前X頁、后X頁和PageCount<1000(1000這個值可以在程序中設(shè)置)的數(shù)據(jù)進(jìn)行了特殊優(yōu)化,其它數(shù)據(jù)進(jìn)行了異步節(jié)點算法同步對結(jié)果進(jìn)行匯,性能在多服務(wù)器架構(gòu)中可以完美的體現(xiàn)出來,在單服務(wù)器架構(gòu)需要注意保證足夠IO,避免全表掃描,否則起不到優(yōu)化效果。

        1、單服務(wù)器、單硬盤、多庫架構(gòu):

         適合低并發(fā),數(shù)據(jù)量在1億以下,響應(yīng)速度有較高要求,建議數(shù)據(jù)量最好不要超過1000W,在查詢中避免全表掃描,充分利用io性能,讓異步的優(yōu)勢體現(xiàn)出來。

        如圖:

        對部署在同一臺PC機(jī)上的10個同結(jié)構(gòu)庫進(jìn)行了模糊搜索

        name建了全文索引,id和num建立了復(fù)合索引

        十個庫加起來總共有540萬條數(shù)據(jù) ,普通機(jī)械硬盤 只用了0.3秒的時間。

        2、單服務(wù)器、多硬盤或陣列:

        可以使用LIKE等進(jìn)行全表掃描,性能有明顯的提升

     

       3、多服務(wù)器、多庫架構(gòu)

        因為把壓力分?jǐn)偢鱾€節(jié)點所在服務(wù)器上,所以可以輕松處億級以上的數(shù)據(jù),節(jié)點服務(wù)器越多,處理的數(shù)據(jù)量就越大,就越快,就算是T級數(shù)據(jù),秒查也不是事兒,只需N臺廉價的PC。 

     

 2、用法

       1、引用SqlSugar.dll

       2、配置連接字符串

            其中rate是Insert時存儲到某節(jié)點的機(jī)率,0表示不會有新數(shù)據(jù)添加到該節(jié)點,下面設(shè)置都為1表示我一點都不偏心

        

       2、添、刪、改用法

       

              3、啟用分布式事務(wù)

                 服務(wù)器需要開啟MSDTC等服務(wù)

                    

 

 

            4、Taskable是所有分布式計算的底層核心

                 分頁、分組等復(fù)雜的查詢都從這里展開,支持DataTable、T:Class、值類型 三種類型,能夠方便的把多庫的結(jié)果同步匯總到一個容器中。

                 使用Taskable需要注意每個節(jié)點獲取的數(shù)據(jù)量都不能很大,通過少取多,內(nèi)存運算,在取在運算的方式處理復(fù)雜數(shù)據(jù)的查詢。

              

 

           5、使用Taskable進(jìn)行分組查詢

                統(tǒng)計類報表類的查詢,查詢結(jié)果集不會太大,完全可使用Taskable進(jìn)行處理,Merge方法能夠?qū)⑺袔觳樵兊慕Y(jié)果集合并到一個新的集合

               

             6、使用Taskable擴(kuò)展函數(shù),讓你處理多庫運算更加方便。

          

 

 

            7、分布式分頁

               考慮了分庫機(jī)制,主鍵建議使用GUID來保證獨一,只有主鍵唯一才可以使用該分頁函數(shù)

          

 

 

 

 

 

至于原理我就不多講了,一個貼子也說不完,有幸趣的朋友可以加群: 225982985 討論

源碼地址:https://github.com/sunkaixuan/SqlSugar

 


哈哈  我已經(jīng)盡力了, 不管好壞為了給個贊哈

 

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多