我有一些大表(数百万行).我经常收到包含要添加到这些表中的新行的文件 - 每天最多5000万行.我收到的大约0.1%的行是我已经加载的行的重复(或者是文件中的重复行).我想阻止那些行被加载到表中.
我目前使用SQL Loader以获得足够的性能来应对我的大数据量.如果我采取明显的步骤并在列上添加唯一索引,无论行是否重复,SQL Loader将开始使包含重复行的整个文件失败 - 而我只想防止重复行本身被装载.
我知道在SQL Server和Sybase中我可以使用'Ignore Duplicates'属性创建一个唯一索引,如果我然后使用BCP,则不会加载重复行(由该索引定义).
有没有办法在Oracle中实现相同的效果？
我不想在加载后删除重复的行 - 对我来说重要的是它们永远不应该被加载.