标签: web-crawler

我已经检索了一些这样的数据：

object(stdClass)[1]
  public 'status' => string 'ok' (length=2)
  public 'data' => 
    object(stdClass)[3]
      public 'sort_data' => 
        object(stdClass)[2]
          public 'sort_column' => string 'order_item_id' (length=13)
          public 'sort_order' => string 'asc' (length=3)
      public 'pager' => 
        object(stdClass)[4]
          public 'page' => int 1
          public 'item_per_page' => int 50
          public 'total_page' => int 1
          public 'total_rows' => int 21
      public 'form_data' => 
        array (size=0)
          empty
      public 'items' => 
        array (size=21)
          0 => 
            object(stdClass)[5]
              public 'order_item_id' => int 323360064
              public 'order_id' => int 111179028
              public 'variant' => 
                object(stdClass)[6] …

我想编写一个程序来浏览维基百科页面并以（“主题”，“关系”，“对象”）的形式提取语义事实。事实的例子可能是（“帝国时代”、“开发者”、“Ensemble Studios”）。这样的事怎么办呢？

我正在爬网数千页，需要一个解决方案。每个站点都有自己的html代码-它们都是唯一的站点。没有干净的数据源或API。我希望将捕获的数据加载到某种数据库中。

如果可能的话，有什么想法可以解决吗？

使用PHP生成的两个HTML网页.一个脚本创建一个由两个网页引用的页脚.

抓取工具是否会将页脚HTML内容视为一次或两次？