博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Distributed4:SQL Server 分布式数据库性能测试
阅读量:6813 次
发布时间:2019-06-26

本文共 3328 字,大约阅读时间需要 11 分钟。

我在三台安装SQL Server 2012的服务器上搭建分布式数据库,把产品环境中一年近1.4亿条数据大致均匀地存储在这三台服务器中,每台Server 存储4个月的数据,物理机的系统配置基本相同:内存16G,双核 CPU 3.6GHz,软件环境是Windows Server 2012 R,和SQL Server 2012。

1,创建水平分区视图

基础表是dbo.Commits,每个基础表大致存储4个月的数据,近5000万条记录:

CREATE TABLE [dbo].[Commits](    [CommitID] [bigint] IDENTITY(1,1) NOT FOR REPLICATION NOT NULL,    [AuthorID] [bigint] NOT NULL,    [CreatedDate] [datetime2](7) NOT NULL,    [CreatedDateKey] [int] NOT NULL, CONSTRAINT [PK__Commits_CommitID] PRIMARY KEY CLUSTERED (    [CommitID] ASC,    [CreatedDateKey] ASC))
View Code

创建分区视图,Linked Server的Alias是db2 和 db3,Catalog 是 tdw(test data warehouse):

CREATE view [dbo].[view_commits]asselect [CommitID]      ,[AuthorID]      ,[CreatedDate]      ,[CreatedDateKey]from dbo.commits c with(nolock)where c.[CreatedDateKey] between 20150900 and 20160000union ALLselect [CommitID]      ,[AuthorID]      ,[CreatedDate]      ,[CreatedDateKey]from db3.tdw.dbo.commits c with(nolock)where c.[CreatedDateKey] between 20150000 and 20150500union ALLselect [CommitID]      ,[AuthorID]      ,[CreatedDate]      ,[CreatedDateKey]from db2.tdw.dbo.commits c with(nolock)where c.[CreatedDateKey] between 20150500 and 20150900WITH check OPTION;GO
View Code

2,查询性能测试

Test1,在基础表上测试,基础表是全部的数据,cost:79s

select count(0)from dbo.commits_total c  with(nolock)where day(c.[CreatedDate])=1

Test2,使用分区视图测试,cost=134s,比Test1的查询性能明显降低。

select count(0)from dbo.view_commits c  with(nolock)where day(c.[CreatedDate])=1

3,使用OpenQuery查询

OpenQuery把查询语句直接发送到Linked Server上执行,返回查询的结果,cost:105s,还是很高,相对提高20%的性能。

select sum(t.cnt) as cntfrom(    select count(0) as cnt    from dbo.commits c  with(nolock)    where day(c.[CreatedDate])=1    UNION all    select p.cnt    from openquery(db2,    N'select count(0) as cnt    from dbo.commits c  with(nolock)    where day(c.[CreatedDate])=1') as p    UNION all    select p.cnt    from openquery(db3,    N'select count(0) as cnt    from dbo.commits c  with(nolock)    where day(c.[CreatedDate])=1') as p) as t
View Code

4,使用C# 多线程编程

创建三个Task同时运行在三台Server上,Cost:28s

static void Main(string[] args){    List
tasks = new List
(); int c1=0, c2=0, c3=0; Task t1 = new Task(()=> { c1= GetCount("xxx"); }); Task t2 = new Task(() => { c2= GetCount("xxx"); }); Task t3 = new Task(() => { c3= GetCount("xxx"); }); tasks.Add(t1); tasks.Add(t2); tasks.Add(t3); Stopwatch sw = new Stopwatch(); sw.Start(); t1.Start(); t2.Start(); t3.Start(); Task.WaitAll(tasks.ToArray()); int sum = c1 + c2 + c3; sw.Stop(); Console.Read();}static int GetCount(string str){ using (SqlConnection con = new SqlConnection(str)) { con.Open(); var cmd = con.CreateCommand(); cmd.CommandText = @" select count(0) as cnt from dbo.commits c with(nolock) where day(c.[CreatedDate]) = 1"; int count = (int)cmd.ExecuteScalar(); con.Close(); return count; }}
View Code

5,结论

  • 将数据水平切分,分布式部署在不同的SQL Server上,其查询性能并不一定比单一DB性能更好。
  • 使用OpenQuery函数将查询语句在Remote Server上执行,返回查询结果,能够优化Linked Server 的查询性能。
  • 在使用分布式数据库查询数据时,针对特定的应用,编写特定的代码,这需要fore-end 更多的参与。

参考doc:

作者
出处
本文版权归作者和博客园所有,欢迎转载,但未经作者同意,必须保留此段声明,且在文章页面醒目位置显示原文连接,否则保留追究法律责任的权利。
分类:
标签:
本文转自悦光阴博客园博客,原文链接:http://www.cnblogs.com/ljhdo/p/5598558.html,如需转载请自行联系原作者
你可能感兴趣的文章
什么是UV?
查看>>
Stringbuffer与Stringbuilder源码学习和对比
查看>>
Centos 学习大纲
查看>>
解读固态磁盘性能发展之现状
查看>>
CFO职能扩张 CIO将面临更大数据压力
查看>>
区块链之路该怎么走?
查看>>
博科助力澳大利亚的基因组研究机构应对大数据增长
查看>>
SDN趋势回顾:2016年是软件定义WAN元年
查看>>
如何在CentOS和RHEL系统上安装或自动更新安全补丁
查看>>
路由器成帮凶!第二季度DDoS攻击翻倍
查看>>
Uber数据基础架构现在及未来
查看>>
SDN/NFV:融合与博弈持续共存
查看>>
常见的JavaScript易错知识点整理
查看>>
RagingWire战略重点批发数据中心服务
查看>>
数据中心的规模是否影响虚拟化DCIM的决策?
查看>>
后流量时代,世间再无电信运营商
查看>>
李开复:钉钉是大胆的突破式创新
查看>>
我国特色国情下 智慧城市建设与国外有哪些区别
查看>>
MaxCompute帮助创业公司中减轻MySQL存储压力
查看>>
ASHRAE新标准促进降低数据中心能源消耗
查看>>