好的,所以我对编程还比较陌生,这让我感到非常困惑。我从网站上抓取数据,并且数据每周都会更改。每当数据从2015年9月9日开始更改为最新数据时,我都希望运行我的抓取过程。
我知道如何通过每个数字(例如0909然后0910然后0911)轻松地运行此操作,但这不是我所需要的,因为这将导致服务器发出太多毫无意义的请求。
这是URL的格式 http://www.myexamplesite.com/?date=09092015
我知道很简单:
for i in range(startDate, endDate):
url = 'http://www.myexamplesite.com/?date={}'.format(i)
driver.get(url)
Run Code Online (Sandbox Code Playgroud)
但是我一直无法弄清的一件事是操纵python dateTime来准确反映网站使用的格式。
即:09092015 09162015 09232015 09302015 10072015 ... 09272017
如果所有其他方法都失败了,那么我只需要执行一次操作,这样就不会花费太长的时间来完全忽略循环,而只需手动输入我希望从中抓取的日期,然后将所有数据帧附加在一起即可。我主要对在将来可能需要更多数据的项目中如何操纵日期时间函数感到好奇。