我已经建立了几年的网站,主要是在PHP.有些网站有cronjobs,通常每天运行一次.该cronjobs运行PHP文件都存储在服务器上,与提供的网站页面的文件一起.
我知道各种爬虫,合法而非合法,访问我的网站的各个页面.现在,如果爬虫会访问我的一个cronjob文件,这将激活cronjob,有时会产生不良结果.
我很确定这从未发生过,虽然我很感激,但我正在努力理解为什么.当然,我的任何一个cronjob网址都没有任何链接,但我很确定各种抓取工具已访问过其他网页,即使它们从未链接过.
其他开发人员如何解决这个问题呢？在robots.txt文件中添加一行？设置cronjob-related php文件的权限？
提前致谢.
| 归档时间： |
|
| 查看次数： |
96 次 |
| 最近记录： |