"数据按摩"是什么意思？

Question

我正在做一些阅读,如果我的应用程序不需要在发送到SQL之前按摩数据,就会遇到避免使用internalStore.什么是数据按摩？

Answer 1

操纵,处理,改变,重新计算.简而言之,如果您只是在原始数据中移动数据,则无需使用internalStore,但如果您在存储之前对其执行任何操作,那么您可能需要internalStore.

Answer 2

有时,移动数据的整个过程称为"ETL",意思是"提取,转换,加载".按摩数据是"转换"步骤,但它意味着你必须做的临时修复,以消除你遇到的问题(如按摩对你的肌肉),而不是众所周知的格式之间的转换.

认为你可以做的"按摩"数据包括:

• 将源系统发出的格式更改为目标系统所期望的格式,例如将日期格式从d/m/y更改为m/d/y.
• 使用默认值替换缺失值,例如,未给出数量时提供"0".
• 过滤掉目标系统中不需要的记录.
• 检查记录的有效性,如果您尝试插入记录,则忽略或报告可能导致错误的行.
• 标准化数据以删除应该相同的变化,例如用小写字母替换大写字母,将"01"替换为"1".