时间:2025-09-18 20:47 / 来源:未知
干净的数据替代原始数据源中的“脏”数据2025年9月18日更新岁月:2022年08月30日18时30分 泉源:传智教学 浏览次数:
数据冲洗的基础流程一共分为5个方法，分裂是数据理会、界说数据冲洗的战术和条例、搜索并确定纰谬实例、改正发掘的纰谬以及清洁数据回流。下面通过一张图描画数据冲洗的基础流程，实在如图所示。
数据理会是数据冲洗的条件和根底，通过人工检测或者算计机理会步骤的办法对原始数据源的数据举办检测理会，从而得出原始数据源中存正在的数据质地题目。
遵照数据理会出的数据源个数和数据源中的“脏”数据水准界说数据冲洗战术和条例，并抉择合意的数据冲洗算法。
手工检测数据鸠合的属性纰谬须要花费大方的岁月、精神以及物力，而且该经过自己很容易失足，以是须要利用高效的法子自愿检测数据鸠合的属性纰谬，合键检测法子有基于统计的法子、聚类法子和联系条例法子。
检测反复纪录的算法能够对两个数据集或者一个团结后的数据集举办检测，从而确定统一个实际实体的反复纪录，即般配经过。检测反复纪录的算法有基础的字段般配算法、递归字段般配算法等。
遵照分别的“脏”数据存正在情势的分别，实行相应的数据冲洗和转换方法办理原始数据源中存正在的质地题目。须要留心的是，对原始数据源举办数据冲洗时，该当将原始数据源举办备份，以防须要废除冲洗操作。
为了便于执掌单数据源、大都据源以及单数据源与其他数据源团结的数据质地题目，凡是须要正在各个数据源进步行数据转换操作，实在如下。
原始数据源的属性凡是蕴涵良众新闻，这些新闻有时须要细化成众个属性，便于后续冲洗反复纪录。
确认并厘正输入和拼写的纰谬，然后尽可以地使该方法自愿化。倘使基于字典盘问拼写纰谬，则更利于发掘拼写的纰谬。
当数据被冲洗后，清洁的数据代替原始数据源中的“脏”数据，云云能够提升新闻编制的数据质地，还可避免异日再次抽取数据后举办反复的冲洗作事。
