我必须从极大的文本文件中删除重复的字符串(100 Gb +)
因为在内存中由于数据的大小,重复删除是没有希望的,所以我尝试过bloomfilter但是没有超出5000万字符串之类的东西.
总字符串就像1万亿+
我想知道解决这个问题的方法是什么..
我最初的尝试是,将文件分成子文件数,对每个文件进行排序,然后将所有文件合并在一起......
如果你有比这更好的解决方案,请告诉我,
谢谢..
我曾尝试使用以下混淆器进行混淆,但没有一个成功对抗de40工具[https://bitbucket.org/0xd4d/de4dot/]
看到这是多么容易真的很痛苦..只需将defodated .net exe拖到de4dot.exe上,你就会得到源代码.
混淆器尝试的是:
Agile.NET(又名CliSecure)Babel.NET CodeFort CodeVeil CodeWall CryptoObfuscator DeepSea Obfuscator Dotfuscator .NET Reactor Eazfuscator.NET Goliath.NET ILProtector MaxtoCode MPRESS Rummage Skater.NET SmartAssembly Spices.Net Xenocode
一切都没用..那真是令人沮丧..
你能提供一些更好的解决方案来防止这个工具吗？