我本质上有一个start_url,它有我的javascript搜索表单和按钮,因此需要selenium.我使用selenium在我的选择框对象中选择适当的项目,然后单击搜索按钮.接下来的一页,我做了一些scrapy魔术.但是,现在我想回到原始的start_url并填写一个不同的对象等,并重复直到不再.
本质上,我已经尝试制作一个for循环并试图让浏览器回到原来的response.url,但不知何故它崩溃了.我可能会尝试在scrapy顶部找到一个重复的start_url列表来解析,但我不确定这是否是最好的方法.在我的情况下我该怎么办？