使用python从网站下载csv文件

Question

我有以下网站雅虎财经.我想在该页面上设置一个日期范围,例如1997年4月3日到2015年11月4日.一旦我设置了日期范围,我就会得到一个链接来下载该csv页面下方的文件.我想下载csv文件.但我希望所有这些都能以编程方式完成.我如何使用python实现这一目标.

Answer 1

这可能会有所帮助:

import requests
import shutil
def callme():
    url = "http://real-chart.finance.yahoo.com/table.csv?s=%5EBSESN&a=03&b=3&c=1997&d=10&e=4&f=2015&g=d&ignore=.csv"
    r = requests.get(url, verify=False,stream=True)
    if r.status_code!=200:
        print "Failure!!"
        exit()
    else:
        r.raw.decode_content = True
        with open("file1.csv", 'wb') as f:
            shutil.copyfileobj(r.raw, f)
        print "Success"

if __name__ == '__main__':
    callme()

如何获取此URL？
您可以通过右键单击 - >检查元素 - >网络获取任何网站中的API调用列表.
现在,当您从浏览器发出任何请求时,它将列出所有API调用.

您可以根据需要拆分日期并将其传递到URL中.您需要对Yahoo如何通过URL传递日期进行一些研究.

编辑1:此脚本将通过HTTP和HTTPS运行.