8 c# hosting web-crawler
我正在为我的一所大学课程开设一个毕业设计项目,我需要找一些地方来运行我用C#编写的几个爬虫.没有网络托管经验,我有点迷茫.这是任何网站允许的东西吗？我是否需要一个能够提供更多服务器访问权限的特殊主机？爬虫是一个简单的应用程序,可以完成其工作,然后定期将信息写入远程数据库.
Sam*_*ijo 6
网络爬虫是普通用户的模拟.它像浏览器一样访问网站,获取从服务器返回的HTML代码(javascript等)(因此没有内部访问服务器代码).因此,任何网站都可以被抓取.
请注意一些网络爬虫道德准则.有些页面你不应该索引或关注它的链接.Web开发人员为Web爬虫构建一些文件和说明,说明您可以索引或遵循的内容.
归档时间：
16 年，7 月 前
查看次数：
2565 次
最近记录：
13 年，10 月 前