数据存储资源浪费

在典型的重复数据删除技术中，根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后，会根据输入侧不同粒度（卷级、文件级、块级）的数据采取不同的数据切分策略，并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略，当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法，通过对数据块进行哈希算法的***标记，即指纹（Fingerprint），在指纹库中寻找相同的指纹。如果存在相同指纹，则表示已保存了相同的数据块，ADM则不再保存此数据块，而是引用已存在的数据块，从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据，从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题，比较大限度地提升重删性能和重删率，为避免数据备份过程中冗余网络传输与存储开销，在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余，目的在于不备份任意一个冗余数据。上讯敏捷数据管理平台ADM产品能对接NBU自动恢复。数据存储资源浪费

基于CDM（CopyDataManagement，数据副本管理）技术，通过对该技术的运用，我们整合了CDM和***相关工具，实现了生产到开发测试环境的数据快速复制，以及备份数据的自动校验。通过CDM解决方案的实施，我们实现了一个平台、一站式解决数据获取、数据存储、数据构建、数据使用、数据销毁，在保证合规性基础上，以敏捷的数据全生命周期管理，更好地实现数据共享和数据利用。上讯敏捷数据管理平台可以实现以上功能，欢迎登录官网了解详情.一手数据资产上讯敏捷数据管理平台ADM产品能对接NBU直接恢复。

敏捷数据存储对数据处理环节中的数据存储部分进行了创新，采用独特的压缩存储池存放备份数据，将单独的卷管理器和文件系统角色结合在一起，由文件系统掌握磁盘的基础结构，传统文件系统一次只能在单个磁盘上创建，如果有两个磁盘，则必须创建两个单独的文件系统，而卷管理器和文件系统的组合解决了这个问题，它允许创建许多共享可用存储池的文件系统。该存储池的优势之一是对磁盘物理布局的控制，当将其他磁盘添加到池中时，现有文件系统可以自动增长，而新空间可用于所有文件系统，即可以通过添加硬盘来增大池的存储容量，进行分区和格式化.

备份是一个长期的过程，恢复往往只在事故发生后进行，且备份数据的可恢复性、可用性在很大程度上依赖于备份数据的完整性。为了保证备份数据的可用性，很多企事业单位会定期进行数据库备份的恢复演练，也就是从备份数据中恢复出一套完整的数据库。执行备份数据的恢复操作，需要备份系统管理人员或者数据库管理人员（DBA）对数据的备份恢复实现原理有深入的了解，并周期性地对备份数据进行恢复操作，以保证备份数据的可恢复性与可用性。这种长期机械性、重复性的备份、恢复及验证工作，无疑会占用DBA大量的时间和精力。在DBA界还流传着这么一句话：“故障一定会发生，只是早晚的问题！”。作为一名DBA，只有时刻记得进行备份和恢复校验，才能避免某一天事故发生时出现难以挽回的悲剧.

信息敏捷数据管理平台ADM包括生产数据备份、备份恢复校验、敏感数据处理、数据副本管理四大功能模块。

功能节点统一管理，支持弹性扩展ADM采用多节点高可用部署架构，保障数据服务高可用，并消除单节点故障导致的业务不可用问题，确保数据服务连续性。采用Scale-out架构，根据业务发展规模，按需扩展集群节点，无需停止服务，灵活满足业务需求。同时，ADM支持存储池容量的弹性扩充，满足不断增长的数据存储需求。（2）数据存储成本倍数级节约，提升数据存储环节的效能首先，数据备份面临存储成本高的问题，ADM采用内置高效的压缩存储池存放数据，压缩比约为3:1，存储即压缩，***降低了备份数据的存储成本；其次，通过ADM的数据库虚拟化技术，一份基础数据即可快速拉起多份虚拟数据库，由于虚拟数据库90%的数据均与原始数据相同，因此拉起时几乎不占用额外的物理存储空间，*对新增的写操作计入容量占用，因此，随着数据分发使用的场景和频率增加，虚拟库的数量越来越多，而存储成本将会呈倍数级节约，例如针对同一份数据创建N个虚拟库，传统方法需要N倍的存储空间占用，而通过ADM只需要占用近乎0TB的存储空间，**节约了数据存储环节的资源和成本。海量数据供数于下游开发测试统计分析场景的数据使用需求该如何满足？数据的一致性

上讯ADM产品通过虚拟数据秒级分发功能实现测试数据的同时在线交付，缩短了数据交付的时间。数据存储资源浪费

通过智能定义敏感数据类型，自动发现和识别敏感数据，包括数据类型、内容、约束关系，灵活排序减少人为筛选，定位敏感数据源。丰富的算法与仿真的字典库相结合，保证处理后数据仍具有业务属性，数据表间关系仍具有业务一致性，不影响数据挖掘分析数据价值。对涉及企业、个人信息的隐私数据，包括资金财产、个人、企业隐私的对照关系进行敏感数据识别，通过内置的规则进行处理，将数据敏感部分去隐私化，但并不失去数据挖掘的价值特征，减少数据隐私泄露带来的风险和损失，甚至降低可能发生的人身伤害和违法犯罪事件。数据存储资源浪费