我对使用数据库还很陌生，但我目前有一个使用 MYSQL 数据库用 C# 编写的 webCrawler。随着站点被抓取，爬虫经常从数据库中写入和删除记录。
每条记录都有主键，即 URL 的 MD5 校验和，以确保没有表有两个重复的条目。
目前，在插入数据库之前检查表以查看是否存在重复项是一种很好的做法。即对数据库的两个操作。
或者添加记录并让数据库优雅地无法添加它就足够了。
同样的问题与删除等其他操作相关。
目前，我试图从单个客户端（来自该客户端的多个连接）每分钟处理 1000 条记录。知道该级别的数据库活动，答案是否会发生变化。
此外，经常会有重复。并且将跳过添加代码。假设每增加十个，就有一个新记录。