csl*_*str 3 python caching geopy
我geopy用来获取地址列表的lat/long坐标.所有文档都指向通过缓存限制服务器查询(事实上这里有许多问题),但很少有实际解决方案.
完成此任务的最佳方法是什么？
这是我正在处理的一个独立的数据处理工作...没有涉及的应用程序平台.只是尝试减少服务器查询,因为我运行的数据我以前会看到(很可能,在我的情况下).
我的代码看起来像这样:
from geopy import geocoders
def geocode( address ):
# address ~= "175 5th Avenue NYC"
g = geocoders.GoogleV3()
cache = addressCached( address )
if ( cache != False ):
# We have seen this exact address before,
# return the saved location
return cache
# Otherwise, get a new location from geocoder
location = g.geocode( address )
saveToCache( address, location )
return location
def addressCached( address ):
# What does this look like?
def saveToCache( address, location ):
# What does this look like?
您希望如何实现缓存实际上取决于您的Python代码将在哪个平台上运行.
你想要一个非常持久的"缓存",因为地址的位置不会经常改变:-),所以数据库(在键值心情中)似乎是最好的.
所以在很多情况下我会选择sqlite3一个优秀的,非常轻量级的SQL引擎,它是Python标准库的一部分.除非我更喜欢,例如我需要运行的MySQL实例,一个优点可能是这将允许在不同节点上运行的多个应用程序共享"缓存" - 其他数据库,无论是SQL还是非,都适合后者,取决于您的约束和偏好.
但是,如果我在Google App Engine上运行,那么我将使用它包含的数据存储.除非我有特定的理由想要在多个不同的应用程序之间共享"缓存",在这种情况下,我可能会考虑替代方案,如谷歌云sql和谷歌存储,以及另一种选择,包括专用的"缓存服务器"GAE应用程序我自己的服务RESTful结果(也许是端点？).选择是,再次!非常非常依赖于您的约束和偏好(延迟,每秒查询大小等等).
因此,请说明您所处的平台,以及您对数据库"缓存"的其他限制和偏好,然后可以轻松显示非常简单的实现代码.但在澄清之前显示六种不同的可能性并不会很有效.
补充:因为意见建议sqlite3是可以接受的,而且也有代码最佳显示一些重要的细节(比如,如何序列化和反序列化的一个实例,geopy.location.Location从进入/ sqlite3BLOB -类似的问题可能与其他基础数据库出现,并且解决方案类似),我决定可以在代码中最好地显示解决方案示例.因此,由于"地理缓存"显然最好作为自己的模块实现,我写了以下简单的geocache.py...:
import geopy
import pickle
import sqlite3
class Cache(object):
def __init__(self, fn='cache.db'):
self.conn = conn = sqlite3.connect(fn)
cur = conn.cursor()
cur.execute('CREATE TABLE IF NOT EXISTS '
'Geo ( '
'address STRING PRIMARY KEY, '
'location BLOB '
')')
conn.commit()
def address_cached(self, address):
cur = self.conn.cursor()
cur.execute('SELECT location FROM Geo WHERE address=?', (address,))
res = cur.fetchone()
if res is None: return False
return pickle.loads(res[0])
def save_to_cache(self, address, location):
cur = self.conn.cursor()
cur.execute('INSERT INTO Geo(address, location) VALUES(?, ?)',
(address, sqlite3.Binary(pickle.dumps(location, -1))))
self.conn.commit()
if __name__ == '__main__':
# run a small test in this case
import pprint
cache = Cache('test.db')
address = '1 Murphy St, Sunnyvale, CA'
location = cache.address_cached(address)
if location:
print('was cached: {}\n{}'.format(location, pprint.pformat(location.raw)))
else:
print('was not cached, looking up and caching now')
g = geopy.geocoders.GoogleV3()
location = g.geocode(address)
print('found as: {}\n{}'.format(location, pprint.pformat(location.raw)))
cache.save_to_cache(address, location)
print('... and now cached.')
我希望这里说明的想法足够清晰 - 每个设计选择都有其他选择,但我试图保持简单(特别是,当我运行此模块时,我正在使用一个简单的示例兼迷你测试直接,代替一套适当的单元测试...).
关于序列化到/来自blob的一点,我选择pickle了"最高协议"(-1)协议 - cPickle当然在Python 2中会更好(更快:-)但是这些天我尝试编写的代码是同样好的Python 2或3,除非我有特殊的理由不这样做:-).当然,我正在test.db为测试中使用的sqlite数据库使用不同的文件名,因此您可以毫无疑问地将其擦除以测试某些变体,而在"生产"代码中使用的默认文件名保持不变(它是一个非常可疑的设计选择使用相对的文件名 - 意思是"在当前目录中" - 但是决定放置这样一个文件的适当方式是非常依赖于平台的,我不想进入这样的exoterica在这里:-).
如果还有其他任何问题,请询问(也许最好在一个单独的新问题,因为这个答案已经变得如此之大! - ).