小编0x1*_*ad2的帖子

我需要从网站中提取内容,但应用程序不提供任何应用程序编程接口或其他机制来以编程方式访问该数据.

我找到了一个名为Import.io的有用的第三方工具,它提供了用于抓取网页和构建数据集的点击操作功能,唯一的一件事就是我想在本地保存我的数据,而且我不想订阅任何订阅计划.

该公司使用什么样的技术来抓取网页并构建他们的数据集？我发现一些网络抓取框架pjscrape和Scrapy可以提供这样的功能

我已经基于RESTful模式创建了一个API,我想知道监控它的最佳方法是什么？我可以以某种方式收集每个请求的统计信息以及我可以监控请求的深度吗？

是否可以通过使用开源软件(可能构建我自己的监控服务)或者是否需要购买第三方软件来完成？

如果可以通过使用开源软件实现,我从哪里开始？

我有几个Laravel 4应用程序要升级到Laravel 5.通常我会使用Laravel docs 升级指南来升级到下一个版本.

但是今天早些时候我读了一篇来自Matt Stauffer 的博客文章,说明如下:

泰勒公开表示,他认为更好的流程实际上是从头开始并复制你的代码.

所以我的问题是我应该怎么做,我应该将Laravel 4应用程序更新到Laravel 5还是创建一个新的Laravel 5应用程序并将我的整个代码库复制/移植到其中？

我正在使用Facebook Graph API,我想知道哪些字段可用于&fields参数,以及在哪里可以找到有关这些字段的任何文档.

我只能&type在文档中找到参数的page搜索类型,例如搜索类型,如果您提供要查询的名称,则可以搜索页面.

示例请求

search?q=Facebook&type=page

响应示例

{
  "data": [
    {
      "category": "Computers/technology", 
      "name": "Facebook Engineering", 
      "id": "9445547199"
    }, 
    {
      "category": "Product/service", 
      "name": "Facebook", 
      "id": "103274306376166"
    }, 
    {
      "category": "Product/service", 
      "name": "Facebook Developers", 
      "id": "19292868552"
    }, 
    {
      "category": "Media/news/publishing", 
      "name": "Facebook Stories", 
      "id": "114770288670819"
    }
  ]
}

如果我现在需要这个集合中的一些指定字段,我从之前的经验中知道我可以使用该&fields参数来提取它们或过滤掉它们.

示例请求

search?q=Facebook&type=page&fields=name, likes, location

响应示例

{
  "data": [
    {
      "name": "Facebook NY", 
      "likes": 71564, 
      "location": {
      "street": "770 Broadway", 
      "city": "New York", …