我最近一直在学习Python,并且正在努力构建一个web-scraper.它根本没什么特别的; 它的唯一目的是从博彩网站获取数据并将这些数据放入Excel.
大多数问题都是可以解决的,而且我有一点点混乱.但是,我在一个问题上遇到了巨大的障碍.如果网站加载了马匹表并列出了当前的投注价格,则此信息不在任何源文件中.线索是这些数据有时是有效的,数字显然是从某个远程服务器更新的.我的电脑上的HTML只是一个漏洞,他们的服务器正在推动我需要的所有有趣的数据.
现在我对动态网页内容的体验很低,所以这件事让我无法理解.
我认为Java或Javascript是一个关键,这经常会弹出.
刮刀只是一种赔率比较引擎.有些网站有API,但我需要这些API.我正在使用Python 2.7的scrapy库
如果这个问题太开放,我真的很抱歉.简而言之,我的问题是:如何使用scrapy来抓取这些动态数据,以便我可以使用它？这样我就可以实时抓取这个赔率数据？
我们有一些代码使用Facebook Open Graph API在我们的主页上显示一些帖子.它最初是由一个以前的开发人员开发的,我在ASP.NET MVC中为我们的主页重写了它(之前它是PHP,我认为它是在iframe中加载的).那时,我使用了留给我的应用程序ID和秘密.这已经好几年了.今天下午,我们开始在我们的网站上收到错误:"由于我们对Facebook平台所做的更改,暂时禁用非活动帐户对此数据的访问".
没有汗水.我想我只需要更新我们的ID和秘密.不幸的是,似乎没有人记住控制该应用ID的用户ID.没有汗水.我会做自己的.不幸的是,我用来访问帖子的任何ID和秘密 - 甚至是我自己在与工作无关的页面上的帖子 - 都会返回相同的访问错误.我可以获得名称或封面或其他一些字段,但是一旦我请求任何帖子,我就会收到错误消息.
这是我正在尝试的一个例子:
https://graph.facebook.com/MyCompanyName?fields=cover,name,likes,link,posts.limit(5){created_time,message,link,type,full_picture,picture,source,icon}&access_token=bunchofnumbers|bunchofnumbersandletters
我知道https://developers.facebook.com/status/issues/205942813488872/上的状态帖子,但我认为我一定做错了,因为我甚至无法创建新的appID来获取帖子.
为什么Facebook Graph API说我的帐户不活跃？
谢谢.