par*_*rik 11 python scrapy scrapinghub
我有使用shub-image 运行/部署自定义脚本的问题.
setup.py
from setuptools import setup, find_packages
setup(
name = 'EU-Crawler',
version = '1.0',
packages = find_packages(),
scripts = [
'bin/launcher.py',
'bin/DE_WEB_launcher.py',
'bin/ES_WEB_launcher.py',
'bin/FR_WEB_launcher.py',
'bin/IT_WEB_launcher.py',
'bin/NL_WEB_launcher.py',
'bin/DE_MOBILE_launcher.py',
'bin/FR_MOBILE_launcher.py'
],
package_data = {
'Crawling': ['*.ini'],
},
entry_points = {'scrapy': ['settings = Crawling.settings']},
install_requires=[
'scrapy-crawlera>=1.2.2',
'configobj',
'scrapy-fake-useragent',
'xmltodict',
'selenium==2.53.2',
'python-dateutil',
'pyvirtualdisplay',
'beautifulsoup4',
'incapsula-cracker-py3'
],
extras_require={'ScrapyElasticSearch': 'ScrapyElasticSearch[extras]'},
zip_safe = False,
include_package_data=True
)
Run Code Online (Sandbox Code Playgroud)
在这个文件中我有
scripts = [
'bin/launcher.py',
'bin/DE_WEB_launcher.py',
'bin/ES_WEB_launcher.py',
'bin/FR_WEB_launcher.py',
'bin/IT_WEB_launcher.py',
'bin/NL_WEB_launcher.py',
'bin/DE_MOBILE_launcher.py',
'bin/FR_MOBILE_launcher.py'
],
Run Code Online (Sandbox Code Playgroud)
谁是我要发送的不同的filse
我使用此命令进行部署
sudo shub image upload --username [USERNAME] --password [PASSWORD]
Run Code Online (Sandbox Code Playgroud)
在我使用shub-image版本0.2.5和 shub 版本2.5.1之前我运行良好.
但现在我使用shub版本2.7.0(shub图像现在是shub 2.70+的一部分)并且我无法部署我的脚本.
我没有错误,我将我的蜘蛛很好,但不是在在bin文件夹中的文件.
任何意见和建议将不胜感激
| 归档时间: |
|
| 查看次数: |
238 次 |
| 最近记录: |