作者tt_45·2018-06-11 21:00

技术经理·eenese

交通行业企业数据备份实践经验

字数 8615阅读 5319评论 1赞 10

确认过眼神，我遇见对的人，遇到一个对的人真的不容易，你可能不知道那个人到底是不是对的人，也许遇到了你却认不出来。对企业来说寻找一套适合自己的备份恢复方案同样不易。
# 1.	企业为何需要搭建备份恢复系统
为了避免因数据丢失带来的风险。作为一种保证数据安全和业务连续的重要技术和管理手段，备份系统建设的必要性不言而喻。信息系统在日常运行中可能面临各种风险带来数据丢失，例如：

1）	网络病毒、攻击造成停机与数据丢失
2）	黑客入侵造成信息泄密
3）	人为错误造成数据删除
4）	存储损坏造成应用停机和数据丢失
5）	服务器故障或交换机故障导致应用意外停机
6）	不可抗因素如火灾、地震等造成信息中心毁坏
# 2.	数据备份误区
## 1）	用双机、阵列复制、等系统冗余替代数据备份
双机双柜可实现服务器和存储的高可用性，保障业务持续运行，但绝不能替代备份，因为双机双柜能解决数据的物理错误，例如：服务器或存储故障，但解决不了数据的逻辑错误，例如：病毒，人为误删除数据等。
## 2）	写脚本备份数据库代替数据备份软件
1个2个数据库还能操作过来，假如有100个数据库呢？除了数据库，其他的都要写脚本吗（您这是要开发个备份软件吗）？非常不建议这样操作，因为这样做问题太多了，如果有条件，就不要再人为写脚本备份了，不久前我碰到一个同行，一直用脚本备份的Oracle数据库，等恢复的时候发现每天备份的都是0KB，这才开会讨论脚本备份的没有数据验证功能。需要一套专业的备份软件来做这件事情，否则可能灾难重现。
## 3）	操作系统不用备份
有人说，系统备份什么？坏了就重装呗，数据不丢就行，首先大家应该都用过Ghost软件，容易不?太容易了！其实Unix,Linux,Windows  等系统备份恢复如果学会使用不比Ghost难多少，光盘启动，找到想恢复的时间点，分分钟系统就恢复到备份时的状态，但我们想一想，如果没有系统备份工具，我们要重装系统，然后找驱动，安装软件，系统优化，测试，这要多久，一个资深的运维技术6个小时你敢承诺系统能上线吗？我想没有人敢保证，我曾经看过一个工程师为了一个网卡驱动（非常老的服务器）花了一上午的时间。而且有的时候当时部署系统的工程师已经不在了，系统装上了，应用没人会装。想想现在我们的技术人员是不是大半夜的还有在机房维护操作系统的？运维人员忙的要死，天天救火，但技术又没什么长进，想想时间都去哪了。
## 4）	想用CDP代替备份
不论是CDP还是True CDP（就是业内说的真假CDP）都代替不了备份。

我们都知道备份都是放在系统空闲时做，大多数企业都会选择在夜里备份，因为备份会占用大量系统资源，系统繁忙的时候是不可以备份的，（除非你想让用户骂）。CDP顾名思义持续数据保护，不论真假CDP， 24小时不间断对系统IO读取，对系统的性能影响可想而知，CDP通常嵌入数据中心关键业务应用的I/O路径中，是一个I/O聚散点，其任何不稳定都可能导致关键业务停顿。所以CDP只能用在部分业务上，增强备份软件RPO的指标参数，而不是替代备份软件，不会有企业傻到所有业务都采用CDP保护，而且CDP一定要测试后方能使用，如果遇到产品问题或兼容性问题，你的业务系统可能宕机。
# 3.	什么是备份与恢复系统
数据备份与恢复系统是指在运行业务软件的计算机上安装专用的备份软件，该软件将按照计算机管理员设定的规则，周期性地为业务数据制作一个或多个拷贝，并将其存放到专门的备份设备上；当在线存储中的业务数据因为各种原因（如磁盘坏、病毒、误删除等）丢失后，管理员或用户可以通过备份软件提供的GUI, 从备份设备上将数据恢复到在线存储上。一般来说，在线存储是指计算机上存放数据的硬盘或磁盘阵列。存储设备通常是磁带机/磁带、或磁带库，也可能是磁盘、或磁盘阵列，VTL，或者备份一体化设备。备份是数据的最后一根稻草，没有人希望用到备份的数据，但是当我们无能为力的时候，只有备份能救我们。
# 4.	企业备份面临的技术难点
1）	备份环境越来越复杂，企业中包含各种类型操作系统，各种类型数据库，以及物理环境，虚拟化环境，云环境，缺乏集中、统一的备份管理平台，导致系统管理和维护复杂度增加，管理和维护成本上升；

2）	现有物理系统缺乏统一的主机灾难快速恢复解决方案，UNIX、Linux、Windows等各个业务系统的主机灾难恢复主要依靠管理人员手工操作，不同操作系统平台采用完全不同的恢复方案，管理和维护复杂度高，而且效率低下；

3）	存储空间问题：相应备份数据如果采用普通存放模式则需要耗费大量的存储空间。因此，如何能将这些数据高效安全的存放也是企业备份面临的的一个问题。

4）	备份时间窗口问题，已经很难在一个晚上将所有数据做一次完整的备份。

5）	单台服务器故障其影响可能会扩散到其他生产服务器：生产服务器同时管理备份设备，由于需要在SAN中与其他生产服务器共享设备，结果可能会导致关联其他服务器也要做配置变更管理

6）	可靠性问题：涉及到备份数据的安全问题。因此，整个系统的可靠性尤为重要，备份经常失败会给企业管理人员造成过大的维护工作量。

7）	缺乏必要的校验和恢复演习，面临灾难，手足无措，备份的目的就是可以把丢失的数据恢复到生产的状态，但备份的可靠性并不能够保证备份了的数据就一定可以百分百恢复出来。因此，需要进行定期的数据恢复测试确保备份介质的可用性。

8）	缺乏专业的技术人员进行备份管理系统的维护，导致备份作业经常出现失败，也找不到很好的故障解决办法。
# 5.	铁路企业在备份方面面临的问题
1）	多数铁路企业没有考虑到操作系统备份。
2）	没有培养和配备专业的备份人员，导致备份作业失败率高，问题处理速度缓慢，尤其出现灾难故障的时候不知道如何应对，缺乏专业知识的交流渠道。
3）	备份项目跟着工程走，每个工程可能会配一套备份系统，形成不同厂家的多种备份系统，很难集中管理，维护繁琐，每天巡检都会大量浪费人力资源。
4）	系统越来越多，环境越来越复杂，备份时间窗口越来越紧张。
5）	很多工程的备份系统使用的是备份软件+VTL，这种情况，当VTL空间满了以后，过期的数据不能自动释放空间，需要人为手动操做，否则所有备份由于没有备份空间而失败，往往备份软件和VTL又是不同厂商，增加了维护难度。
6）	没有容灾演练平台，都是哪个坏了就恢复哪个，恢复会存在很多不确定性，导致恢复时间长，或者不能恢复。

# 6.	技术路线的选择
## 6.1备份方式选择
可以分别采用4种备份方式：
1）	LAN备份
基于局域网（LAN）的备份，服务器将局域网内不同主机的数据通过局域网备份到共享的磁带库中。这种集中备份管理架构，提高了磁带库的利用率，但是数据主要在局域网上传输，增大了网络传输压力。备份数据量非常少的应用主机建议使用基于LAN的备份。

2）	SAN 备份
基于SAN的备份，需要备份的应用服务器通过SAN连接到备份介质上，应用服务器在备份软件的控制下，将数据通过SAN备份到备份介质上。这种架构将大量数据传输从LAN转移到SAN上，减小了网络传输压力，资源也得到了共享，但是备份时仍要耗费备份主机的CPU和内存资源，同时也占用光纤交换机端口。数据量比较大、备份频度比较高的应用系统应该采用SAN备份。

3）	Server-Free备份
也是一种基于SAN的备份，无须在服务器上缓存而直接从在线存储设备向备份介质拷贝数据。这种备份架构使用SCSI远程拷贝命令,允许服务器向一个设备(如磁盘)发送命令,指示它直接向另一个设备(如磁带)传输数据而不需要通过服务器内存。对于海量的数据库系统备份可以采用Server-Free的方式进行备份，即通过在生产服务器上触发磁盘阵列的快照，然后由另外的主机将快照加载并备份。

4）	SAN-Client备份
新一代的SAN备份技术，它可以帮助我们无需模拟磁带库的协议而实现光纤网络的 LAN-Free 备份，业务平台无需再承担安装备份设备驱动所带来的风险，同时避免了业务拓展造成的传统备份架构设备仲裁的问题。

## 6.2数据库在线备份方法
1）	备份软件会提供各种数据库的在线备份模块，可以在线对数据库进行数据备份，支持全量备份或增量备份。备份软件软件提供针对数据库的图形化备份和恢复向导。

2）	备份软件支持的数据库主要包括有：IBM DB2、Informix、Lotus® Notes/Lotus Domino® Server、Microsoft Active Directory、Microsoft Exchange Server、Microsoft SharePoint® Portal Server/Microsoft Office SharePoint Server、Microsoft SQL Server、Oracle、SAP、Sybase。
## 6.3海量数据库备份方法
1）	针对用户的海量数据库备份需求建议使用Server-Free的方进行备份。

2）	Server-Free备份的基本原理是利用快照技术，通过对生产数据进行快照，然后将快照挂载到一台专用的备份主机上进行数据备份，从而将业务生产主机从备份的IO路径中释放出来。

3）	备份软件能够一体化管理server-free的全过程，包括：
1. 在生产主机上发现、定义、配置数据库备份所包含的文件及数据对象
2. 在生产主机上冻结数据库或文件系统的I/O操作
3. 在生产主机上通知快照提供商（阵列或者卷）创建并分离快照
4. 在生产主机上解除I/O操作冻结
5. 将快照挂载到另一个专用的备份代理机上
6. 将数据备份到备份系统

4）	进行server-free需要额外的快照提供方，通常是采取磁盘阵列快照的方式来实现，因为需要阵列提供商提供相应的功能和技术支持。
## 6.4海量小文件备份方法
1）	针对海量小文件的备份可以采用备份软件的客户端加速备份模式。备份软件的加速备份功能能够将传统完全备份速度加快到了增量备份的速度级。

2）	备份软件 Accelerator 大幅减少了传统完全备份所需的资源量（客户端 I/O、时间、网络和存储）。使用 备份软件 Accelerator，包含数百万文件的大型文件系统完全备份所需的时间只是增量备份的时间。原来备份时间内无法完成的系统备份，现在能够以更快的速度进行，从而使该备份能够在指定的时间内完成。

3）	备份软件 Accelerator 利用了变更跟踪功能，可以只识别和访问更改的数据，进而大大减少了遍历大型文件系统招致的文件系统开销。还可以在客户端或介质服务器对这个已经减少了的数据集进行重复数据删除，进一步降低了对网络和存储资源的需求。可以创建优化的合成完全备份，并内嵌目录，这样可以提供全面的恢复功能，缩短 RTO。

4）	在加速备份模式中，主要利用了如下三种技术来优化备份和恢复效率：
	前端重复数据删除：减少数据传输量，通过LAN达到较高的备份速度
	永久增量备份：每次只备份增量文件数据，减少备份内容，提高备份速度
	存储端优化合成：将增量备份合成为全备份，提升数据恢复速度
## 6.5操作系统备份方法
针对操作系统的保护，备份软件提供了系统备份功能实现操作系统的保护。我们可以非常方便的将操作系统最近一次备份的内容恢复到原机或者另外一台硬件配置类似的主机上。系统备份能够自动灵活地处理服务器恢复进程，不必再手动重新安装操作系统或配置硬件。不需要额外的培训或操作，在短时间内，用简单的操作，即可完成服务器操作系统的恢复。

## 6.6虚拟化环境备份方法
备份软件提供了即全面又简单的备份和恢复技术，能够对VMware 和 Microsoft Hyper-V® 虚拟化环境提供全面的保护。对于虚拟化环境，可以通过对整个虚拟机进行一次备份，而在恢复时可以选择恢复整个虚拟机或虚拟机内的单个文件，从而实现对虚拟环境在OS和文件系统两个层面的保护。

1）	对于VMware环境，备份软件能够通过API接口直接从SAN或LAN备份虚拟机的磁盘文件，无需在虚拟环境中安装任何备份软件软件模块；
2）	对于Hyper-V环境，备份软件通过安装在Hyper-V物理主机的备份软件客户端软件对虚拟机的磁盘文件进行备份，无需在虚拟机内部安装备份软件的软件模块。
3）	对私有云环境，尽量选择加速备份，以及智能备份策略（例如做一个智能策略，备份所有虚拟机，模板不备份，关机的不备份，名字带Test的不备份，某个IP地址段的不备份）。可大量减少备份管理员的维护工作，否则，今天加个新的虚拟机没有备份，明天哪个虚拟机删除了，备份的时候天天报错找不到虚拟机。
## 6.7备份设备的选择
1）	磁带库
1. 磁带的速度、并行度及可靠性越来越难以满足数据中心备份的需求
2. 在容量、方便扩展、可以离线存放上，目前还没有替代产品
3. 数据保护需求越发严格，法规、审计要求数据多份保存、长时间保存
4. 磁带慢慢退居幕后，作为数据长期归档保存设备

2）	磁盘阵列
使用磁盘做Staging。无法共享，空间开销大，只能短期保存数据。
3）	虚拟带库
虚拟磁带库VTL，将磁盘模拟成磁带库，可实现LAN-Free备份，过渡性产品。
4）	备份一体机
替换传统“PC+VTL”组合备份方案，利用软、硬件一体化设计的备份系统。
## 6.8重复数据删除技术的选择
数据急剧增长，速度空前，致使企业想方设法削减存储成本。最近几年里，重复数据删除技术已经使信息管理领域发生了翻天覆地的变化。简单而言，重复数据删除就是删除重复数据的过程。就数据备份而言，重复数据删除有助于避免执行不必要的任务，如通过网络传输以及存储冗余备份数据。可以采用以下两种方式删除重复数据：在源位置删除或在目标位置删除。
1）	在源位置，使用内置到备份软件客户端的客户端重复数据删除技术。
2）	在目标位置，使用介质服务器重复数据删除技术删除硬件设备重复的数块。

## 6.9恢复演练平台的搭建
恢复演练平台，用于进行整个业务应用系统包括底层操作系统平台的恢复，将整个已经备份的业务应用系统和相应的操作系统平台恢复到裸设备上，侧重于对整个业务应用系统的恢复演练。

建设系统级灾难恢复演练系统同样需要部署多台恢复演练服务器和磁盘存储阵列和备份软件客户端。在该系统中的恢复演练服务器无需安装操作系统和业务系统应用软件,但需要有能够运行业务系统的硬件平台例如小型机等。在恢复演练过程中将通过备份软件客户端将已经备份了操作系统和业务系统的备份数据，恢复到裸服务器或虚拟机。通过对裸服务器和虚拟机的直接恢复可以在最短时间内恢复用户的业务应用系统和数据，同时利用已经恢复的恢复演练服务器确认和检验灾难备份系统恢复的数据能用于进行整个业务应用系统的重建恢复工作。
# 7.	确认过眼神，我遇见对的人
![2360d30rpa8cv98fxqo94fgvi](/home/attachment/201806/11/6187_152872190647076.png)

数据中心的需求并非一成不变的，因此Veritas 推出专用备份硬件设备(PBBA)NetBackup一体机来帮助客户简化NetBackup这一市场领先软件的部署和维护。选择Veritas NetBackup一体机后，用户无需再费时费力安装、配置和维护备份与灾难恢复领域的硬件和软件组件。

NetBackup一体机适用于寻求统包式解决方案的企业。该一体机可为数据中心、远程办公室和虚拟环境提供存储经优化的高效数据保护。该企业级一体机依托Veritas NetBackup软件的优势，在降低总拥有成本的同时提高可靠性。

## 为何选择NetBackup一体机?
1）	软、硬件一体化设计的备份系统
Veritas NetBackup 一体机 是一款集成了备份、存储、重复数据删除、以及数据复制功能于一体的NetBackup硬件设备，即可以作为介质服务器扩展到现有的Netbackup环境中，也可以作为主服务器单独部署，极大的简化了用户配置和部署备份方案的难度。NetBackup 一体机 的内核采用的是 Suse Enterprise Linux操作系统，结合备份业务处理的任务多，数据量大、时间集中等特点，对其进行了最优化处理以适用于NetBackup软件的备份处理过程。同时结合NetBackup 一体机硬件基础平台将所有与备份相关的系统参数和NetBackup参数都针对不同类型的备份对象做适度的调整，从而使整机达到了最佳的性能表现。

2）	领先的内容感知重复数据删除功能
NetBackup 一体机内嵌了重复数据删除功能，其最大的特点就是基于内容识别技术，可以针对不同的数据内容，采用相适应的重复数据删除策略，以达到最大的重复数据删除率，提升了存储的使用效率。另外，也只有NetBackup 一体机，才能实现选择在用户端或目标端进行重复数据删除的便利，这样操作可以实现针对不同业务特点，灵活地部署重删功能，实现最大备份性能。

3）	省心的后期运行维护
NetBackup 一体机 是一款软、硬件一体化的企业级备份系统，相较于“PC+VTL”组合的备份系统，一体机更可以实现快速安装部署，在后期运维管理方面提供给用户安心、无须参与的服务保障。

4）	灵活的扩展能力，实现不同的数据保护策略
NetBackup 一体机除了可以实现自身物理容量的扩展之外，更有可以方便的挂接物理带库，实现更优化的性能分配和分级存储。对于需要长期保存的内容，按照策略自动地复制到物理带库上；同时生产主机也可以通过NetBackup 一体机透明地对物理带库进行访问。一方面可以发挥物理磁带库顺序读写的高带宽能力，另一方面对于文件类型的操作，则可以通过NetBackup 一体机的高并发度，高随机读写能力来互补，实现多种类型设备的利用。

5）	集中监控平台
利用备份一体机其免费的备份软件组件可以便捷的搭建集中监控平台，监控全局备份系统，同时，可以设置策略定时将备份系统运行状况和备份问题通过邮件方式反馈给相应的管理人员。

6）	容灾演练平台
NBU备份一体机还可以用于自助式恢复演练平台，既可以验证数据的有效性，又能提高技术人员的恢复数据能力、熟悉了灾难恢复流程。

# 8.	某铁路局案例
该局部署了Veritas提供的基于硬件设备的数据保护解决方案，支持重复数据删除

功能，统一了备份系统。经过和原有的各自独立的备份系统对比，本次备份系统改造主要成效如下：

## 为铁路局节省的主要运营支出：

1. 采购成本：无需订购、审批、安排和交付各个介质服务器组件。
2. 安装和集成成本：免去安装、集成、测试和性能调整带来的麻烦。
3. 管理成本：使用一个管理控制台执行多项任务。
4. 修补和固件更新成本：不再管理所有组件的修订级别、固件等，减少了兼容性问题。
5. 支持成本：避免出现问题时各组件供应商之间相互指责。
6. 为铁路局节省的主要资本支出：
7. 存储：使用Veritas智能重复数据删除替换磁带，降低存储成本。
8. 空间：将备份服务器与重复数据删除存储合并到一个硬件设备中，节省了宝贵的使用空间。
9. 能耗与散热：作为符合ENERGYSTAR标准的备份一体机，NBU一体机减少了占地面积和能耗，从而让您更好地利用IT预算。

## 为路局提升的备份性能：

1. 在规定备份时间内将备份的系统数量提升 10 倍
2. 数据保护所需管理时间减少 75%
3. 可以每天晚上备份其所有数据，而不是仅限于只备份核心系统
4. 恢复成功率达 100%，备份成功率达 99%
5. 使用重复数据删除功能将备份映像大小减少80%
6. 磁盘上可提供四周的备份数据，灾难恢复速度提升八倍
7. 提升了Vmware的备份速度，将Vmware的备份速度提升了近20倍。
8. 提供了基于Vmware的即时恢复功能，5分钟内可恢复启动备份过的任何备份的虚拟机
9. 提升了Oracle数据库的备份速度，将Oracle的备份速度提升近30倍
10. 提供了基于Oracle的即时恢复功能，5分钟内可恢复启动备份过的任意Oracle数据库

# 9.	总结
通过部署一体机可以帮助企业提高操作效率、部署速度更快、最大程度减少计划内和计划外停机，从而降低风险、提升运维效率以及提高服务级别。通过整合降低成本，备份一体机中整合了多个单点产品，极大降低采购成本支出并减少了需要管理的产品数量，节省运营成本。利用灵活性能和可扩展性、通过硬件与 NetBackup 软件的紧密集成，优化性能，在多个级别（例如源端、目标、内处理或后处理）进行重复数据删除，提高网络带宽，减少容量需求，可以伴随着生产系统的增长逐步增加容量，单台设备可从4TB扩展至1.9PB，专为更大型企业、数据中心和灾难恢复站点所设计。

交通备份数据备份

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论1 条评论

wangql系统工程师NULL
2018-06-13 15:13

赞写的真好，非常全面

Ctrl+Enter 发表

匿名评论

交通行业企业数据备份实践经验

添加新评论1 条评论

本文隶属于专栏

作者其他文章

相关文章

相关问题

相关资料