快速关系数据库,用于Python的简单使用

Question

对于我的链接抓取程序(用python3.3编写)我想用一个数据库存储大约100.000个网站:

我不了解数据库,但发现以下内容可能符合我的目的:

我对速度感兴趣(访问数据库并获取想要的信息).例如:对于网站x,属性y存在,如果是,请阅读它.写作速度当然也很重要.

我的问题:速度上存在很大差异,还是对我的小程序无关紧要？也许有人可以告诉哪个数据库符合我的要求(并且很容易用Python处理).

Answer 1

如果速度是主要标准,那么我建议使用内存数据库.看看http://docs.python.org/2/library/sqlite3.html

它也可以用作普通数据库,对于内存模式使用下面的内容,db应该在RAM本身中创建,因此运行时访问速度要快得多.

import sqlite3
conn = sqlite3.connect(':memory:')

Answer 2

数据库的大小和规模不是特别大，并且几乎在任何现有数据库解决方案的范围内。

基本上，您要做的是在计算机上安装数据库服务器，它将在给定的端口上启动。然后，您可以在Python中安装一个库来访问它。

例如，如果要使用Postgresql，则将其安装在计算机上，它将附加到某个端口（如5000或端口5432）。

但是，如果您仅拥有要存储和检索的信息，则可能希望使用NoSQL解决方案，因为它非常容易。

例如，您可以在服务器上安装mongodb，然后安装pymongo。pymongo教程将教您几乎所有应用程序所需的知识。