下载安卓APP箭头
箭头给我发消息

客服QQ:3315713922
论坛 >办公软件 >如何实现SQL Server数据库迁移

如何实现SQL Server数据库迁移

皇子发布于 2015-10-30 20:05查看:818回复:17

下面的讲述了SQL Server数据库迁移的方法,大家都来看一下,看这种方式是不是都会呢?不会的话,就认真地来学习一下吧!

SQL Server是由Microsoft开发和推广的关系数据库管理系统(DBMS),它最初是由Microsoft、Sybase和Ashton-Tate三家公司共同开发的,并于1988年推出了第一个OS/2版本。Microsoft SQL Server近年来不断更新版本。它具有的特点: 

1.真正的客户机/服务器体系结构。

2.图形化用户界面,使系统管理和数据库管理更加直观、简单。

3.丰富的编程接口工具,为用户进行程序设计提供了更大的选择余地。

4.SQL Server与Windows NT完全集成,利用了NT的许多功能,如发送和接受消息,管理登录安全性等。SQL Server也可以很好地与Microsoft BackOffice产品集成。

5.具有很好的伸缩性,可跨越从运行Windows 95/98的膝上型电脑到运行Windows 2000的大型多处理器等多种平台使用。

6.对Web技术的支持,使用户能够很容易地将数据库中的数据发布到Web页面上。

7.SQL Server提供数据仓库功能,这个功能只在Oracle和其他更昂贵的DBMS中才有。

 

一、目的
之前在博文SQL Server数据库最小宕机迁移方案中提到了使用了完全备份+差异备份的功能完成了数据库的转移,但是这个方法在遇到了700多G的数据时显然不适用,所以这篇中我是如何迁移700G的数据库到新的服务器的。
二、分析与设计思路
(一) 环境描述
我们的数据库使用了SQL Server 2005的,部署在Windows Server 2003 x86位操作系统上,有一个表占了这个数据库大部分的空间。
面对上面的情况,我们的数据库压力比较大了,所以我们打算在同一个集群中找另外一台机器,转移这个数据库的数据过去,通过设置新服务器的一些参数来达到优化这个数据库的目的。
(二) 数据分析
在拿到一个数据库的时候,我们应该查看这个数据库相关的信息,在了解了数据库的情况和参数之后再做出初步的评估,比如我们需要知道这个700G的数据库中那些表占用了多少空间,索引占了多少空间(有一个SQL可以直接查看到这些信息),是否做了表分区。
了解参数的时候可以看看服务器硬件信息,比如内存、硬盘、是否做了RAID策略、什么操作系统、数据库的版本、内存的压力、CPU的压力等等信息。了解这些信息是我们决定是否迁移到新的服务器的重要因素。
如果决定了进行数据迁移,那么为了不影响我们的生产的数据库,让生产数据库还能进数据,我们一次要搬多少条记录才是合适的,这个我们也是需要计算的。(搬迁的Job尽量让时间间隔大点,如果前一个Job还没有执行完的话,后一个Job即使到了时间也是不会执行的。)
(三) 设计思路

  1. 创建一个表。这个表用来保存我们一次需要转移的多少数据的ID值;(这个ID是我们要迁移表的主键,自增字段)。那我们需要一次性迁移多少数据呢?这个我们可以通过计算比如1000条记录有多少M,一次传输对局域网的压力大嘛?最好让ID是一个整千或者整万的整数,这样方便记录和查看。

  2. 创建一个服务器对象-链接服务器。这样就可以读取到其它服务器上的了,可以进行数据搬迁了(注意这里需要设置链接服务器的帐号和密码)

  3. 创建一个存储过程。用于读取、控制转移数据,这存储过程需要比较智能一点,它需要解决下面缺陷中提到的几个问题。

  4. 创建一个Job。这个Job就调用这个存储过程,不过需要尝试多几次调用的频率问题。

三、参考脚本
下面列出一些重点的sql,供参考。
--1.1,创建表

  1. CREATE TABLE [dbo].[Temp_MoveManage](  

  2.  

  3.     [Id] [int] NOT NULL,  

  4.  

  5.     [IsDone] [bit] NOT NULL,  

  6.  

  7.     [UpdateTime] [datetime] NULL,  

  8.  

  9.  CONSTRAINT [PK_Temp_MoveManage] PRIMARY KEY CLUSTERED   

  10.  

  11. (  

  12.  

  13.     [Id] ASC 

  14.  

  15. )WITH (IGNORE_DUP_KEY = OFF) ON [PRIMARY]  

  16.  

  17. ) ON [PRIMARY] 

--1.2插入数据

  1. declare @i int   

  2.  

  3. set @i=1   

  4.  

  5. while @i < 50000000  

  6.  

  7. begin   

  8.  

  9.     insert into dbo.Temp_MoveManage values(@i,0)  

  10.  

  11.     set @i = @i + 50000  

  12.  

  13. end 

--1.3测试

1446206727674093.jpg

  1. select * from Temp_MoveManage 

--2,链接服务器(省略)
--3,存储过程

  1. SET ANSI_NULLS ON 

  2.  

  3. GO  

  4.  

  5. SET QUOTED_IDENTIFIER ON 

  6.  

  7. GO  

  8.  

  9. -- =============================================  

  10.  

  11. -- Author:      

  12.  

  13. -- Create date:   

  14.  

  15. -- Description:   <转移数据>  

  16.  

  17. -- =============================================  

  18.  

  19. ALTER PROCEDURE [dbo].[sp_GetMoveData]  

  20.  

  21. AS 

  22.  

  23. BEGIN 

  24.  

  25.     DECLARE @Id1 INT,@Id2 INT 

  26.  

  27.     DECLARE @MaxId INT--原表的最大值  

  28.  

  29.     SET @Id1 = 0  

  30.  

  31.     SET @Id2 = 0  

  32.  

  33.     SELECT TOP 1 @Id1 = Id FROM Temp_MoveManage WHERE IsDone = 0 ORDER BY Id  

  34.  

  35.     SELECT TOP 1 @Id2 = Id FROM Temp_MoveManage WHERE IsDone = 0 AND Id > @Id1 ORDER BY Id  

  36.  

  37.     SELECT @MaxId = MAX(Id) FROM [dbo].[ClassifyResult]  

  38.  

  39.     IF(@Id1 != 0 AND @Id2 != 0 AND @MaxId>=@Id2)  

  40.  

  41.     BEGIN 

  42.  

  43.        DECLARE @sql VARCHAR(MAX)  

  44.  

  45.        SET @sql = '  

  46.  

  47.        SET IDENTITY_INSERT [ClassifyResult_T] ON   

  48.  

  49.        INSERT INTO [dbo].[ClassifyResult_T](  

  50.  

  51.            [Id]   

  52.  

  53.           ,[ClassId]  

  54.  

  55.            ,[ArcHiveId])  

  56.  

  57.        SELECT   

  58.  

  59.           [Id]   

  60.  

  61.           ,[ClassId]  

  62.  

  63.            ,[ArchiveId]  

  64.  

  65.        FROM [dbo].[ClassifyResult]  

  66.  

  67.        WHERE Id >= '+ CONVERT(VARCHAR(100),@Id1) + ' and Id < '+ CONVERT(VARCHAR(100),@Id2) + ' 

  68.  

  69.        ORDER BY Id  

  70.  

  71.        SET IDENTITY_INSERT [ClassifyResult_T] OFF '  

  72.  

  73.        EXEC (@sql)  

  74.  

  75.        UPDATE Temp_MoveManage SET IsDone = 1 WHERE Id = @Id1  

  76.  

  77.     END 

  78.  

  79. END 

--4,Job(省略)
四、缺陷
缺陷1:在CreateTable生成的表中,最后一条记录无法执行,因为最后一个Id是使用<,没有用=,所以在转移的表中最后一条记录是没有转移过分区表的;
缺陷2:如果转移表的记录同时在不断的增长,那么数据就无法把最新的数据转移到分区表了;针对这个缺陷,本来的想法是为搬迁辅助表的Id分段加多一些记录,这样就可以执行最新数据;
缺陷3:对于上面的那个问题,也是有缺陷的,例如现在Id分段是100和200,当新数据Id>100的某段时间,这两个分段值的IsDone就会给更新为1,这样就会造成缺失了很多数据;针对这个缺陷,也是可以解决的,先去判断当新数据的Id>200的时候,才执行导Id为100和200分段的脚本;(在存储过程中判断Max(Id)就可以了)
五、注意

  1. 对磁盘做RAID0(看具体情况而定)之后的创建分区时需要设置64K的分配单元大小;

  2. 64位操作系统和64位数据库系统;

  3. 搬迁完之后需要创建这表必要的索引,迁移的时候没有创建索引是因为频繁的插入会影响索引,这些索引需要进行存储位置对齐;

  4. 因为把数据库搬迁到新的服务器了,程序链接的IP地址就需要修改,如果很多程序需要修改链接地址,那我们又没办法解决呢?可以通过修改服务器的IP;

  5. 测试相关的应用程序,测试数据库的运行情况;

六、其它
这是一些朋友的建议,这里还没有尝试,因为环境的限制,比如数据库是简单模式了等情况。这里记录下,期待适合环境的童鞋拿去用。

  1. 用Mirror迁移

  2. 考虑Log Shipping

  3. 先完整备份并在目标服务器还原,迁移前先进行事务日志备份并还原,最后将原库所有数据库账号改为只读,然后再进行一次事务日志备份并还原,这样宕机时间会进一步减少,而且如果相关应用不需要写库,那么在宕机时间段里对应用也不会有太大影响。

 

内容就这么多,大家可有学会吗?更多相关的视频尽在课课家官方网,大家有空的话,可以前去观看,精彩内容,不容错过。

 

收藏(0)0
查看评分情况

全部评分

此主贴暂时没有点赞评分

总计:0

回复分享

共有17条评论

  • 课课家运营团队
  • 酸酸~甜甜
  • K哥馆
  • 课课家团队03
  • 大萌
  • 知兰
  • 风铃美
  • Mr ken
  • YUI
  • cappuccino
  • mr jack
  • IT宅男
  • Mright
  • love洒脱留守
  • 人生如梦183
  • 选择版块:

  • 标题:

  • 内容

  • 验证码:

  • 标题:

  • 内容

  • 选择版块:

移动帖子x

移动到: