小编Mes*_*ber的帖子

可能重复:
解析URL的网站

如何使用PHP获取网页中的所有链接？

我需要获得一个链接列表: -

谷歌

我想要获取href(http://www.google.com)和文字(Google)

-------------------情况是: -

我正在构建一个爬虫,我希望它能获得数据库表中存在的所有链接.

我即将创建一个非常大的项目.

如何创建具有以下功能的搜索引擎: -

1. 我给它一个URL,它将获得该页面中的所有可用链接
2. 它应该读取robots.txt文件以确保索引内容和索引内容
3. 我想让它将任何页面添加到数据库中的任何站点而不重新绘制它
4. 它读取xml站点地图
5. 如何使用关键字

如果可能的话,请:我如何构建我的数据库？