我正在处理来自包含特殊字符的源的大量 CSV 数据流,例如:
`÷ Þ Ÿ ³ Ù ÷`
Run Code Online (Sandbox Code Playgroud)
以下是包含这些字符的数据集中的示例行:
'÷ÞW' , 'ŸŸŸŸŸŸŸ', '³ŸŸÙ÷'
Run Code Online (Sandbox Code Playgroud)
这是另一个取自不同数据集的示例:
WCP16,2013-06-04 20:06:24,2013-06-04,CPU,PrimeNumberGenerationTest,PASS,USA,H??F0SXV1,,,N,9999
WCP06,2013-06-04 20:06:24,2013-06-04,CPU,RegisterTest,PASS,USA,HF0SXV1,,,N,99??99
WCD42,2013-06-04 20:06:24,2013-06-04,DVDMINUSRW,MainICTest,PASS,USA,HF0SXV1,,??,N,9999
WCP09,2013-06-05 01:52:53,2013-06-05,CPU,SSE3Test,PASS,,?÷ÞQ»,,,N,9999
WCP10,2013-06-05 01:52:53,2013-06-05,CPU,SSE4_1Test,PASS,,?÷ÞQ»,,,N,9999
Run Code Online (Sandbox Code Playgroud)
如果我知道期望什么类型的字符,那么我可以在读取文件时在Informatica 中处理它。
但在我的情况下,我不确定在任何一天我会得到什么类型的数据,因此我的工作失败了。所以我需要一种方法来从数据中删除所有特殊字符。
我有一个列表文件File_Transfer_List.txt
,其中包含要执行 scp 的文件列表
我的要求是我需要对列表文件中给出的文件执行 scp,然后从源位置删除这些文件。
我试过这个:
scp File_Name user@server:/destination && rm File_Name ;
Run Code Online (Sandbox Code Playgroud)
我无法测试它,我没有准备好我的 scp 来测试它;如果我错了,任何人都可以纠正我。