大数据

数据清理的方式根据数据的特点、实际应用场景

2018-05-03 11:01:21　|　来源：中培企业IT培训网

(2)数据清理的方式根据数据的特点、实际应用场景，对不同数据进行生命周期转移时采取的手段是不一样的。参照某银行，一般可以分为以下几种：

1)数据更新方式。这种方式一般是对数据直接进行更新，并没有数据迁移的动作，例如利率表的变化，又如某个地区名称的变化，即指随时或不定期保持最新数据，可以理解为表中删除了一条数据，又在相同位置新增了一条数据。按这种理解方式，部分仅用于数据加载的临时表也属于这种清理方式。

2)前台操作界面删除方式。这种方式一般由客户或系统用户操作，在前台页面将无效的数据直接删除。例如，客户原住址房产卖了，若已确认这条联系地址作废，则可以主动在客户联系信息里删除，也可以通过客服，让系统用户进行删除。虽然在前台页面做了删除动作，但是在系统内部有可能执行不同的处理方式。一种是真实删除了，例如机构撤并后某个机构不存在了；另一种是通过逻辑方式删除，即改变这条信息的状态，比如客户的联络信息，可能会分析客户住址变动历史，将此条信息仅进行逻辑删除，后续再通过批量程序进行清理迁移。

3)批量程序清理迁移方式。此种方式较为常用。银行一般会考虑联机时刻的性能，将数据清理迁移这种消耗资源较大的动作放在系统闲暇时段（如凌晨两点），通过批量操作将已成为历史的数据从在线阶段迁移到归档阶段或者直接予以销毁。

标签：生命周期管理