我在Python 2.6中使用Bing API编写了一个Web爬虫,它搜索某些文档,然后下载它们以便稍后进行分类.我一直在使用字符串方法并urllib.urlretrieve()下载其URL以.pdf,.ps等结尾的结果,但是当文档被"隐藏"在URL之后时,我遇到了麻烦:
http://www.oecd.org/officialdocuments/displaydocument/?cote=STD/CSTAT/WPNA(2008)25&docLanguage=En
那么,有两个问题.有没有一种方法可以判断一个URL是否有一个pdf/doc等文件,如果它没有这么明确地链接到它(例如www.domain.com/file.pdf)？有没有办法让Python抓住那个文件？
编辑:感谢您的回复,其中一些建议下载文件,看看它是否是正确的类型.唯一的问题是......我不知道该怎么做(见上面的问题#2).urlretrieve(<above url>)只给出一个html文件,其href包含相同的url.
我正在试图找出我的Web应用程序使用的内容.我目前正在使用谷歌地图api,但是我已经开始更多地考虑Bing地图了.这个应用程序除了其他内容之外,还指明了你必须去的地方.我想要去Bing的原因是谷歌已经得到了一些地址错误(可能大约10%)和Bing到目前为止已经犯了0个错误.有谁知道一个是否比另一个更准确(除了我只对我们进行非科学测试).另外,我想做其他未来的事情,比如群集引脚.我知道谷歌地图可以做到这一点,但我不确定Bing能否.所以哪一个更强大,功能更多？最后,看起来像bing的航空象形图要好得多谷歌...对两者的任何想法/使用两者的任何个人经验？
我们如何在C#中使用Bing API？我必须将查询传递给Bing API然后获取结果.
我正在尝试连接到Bing搜索API并且无法使代码工作.我搜索了问题,找不到工作代码.
这是我的代码:
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import org.apache.commons.codec.binary.Base64;
public class BSearch{
public static void main(String[] args) {
// TODO Auto-generated method stub
//--------------------------------------Bing search------------------------------
String searchText = "barack";
searchText = searchText.replaceAll(" ", "%20");
String accountKey="MYACCOUNTKEY";
byte[] accountKeyBytes = Base64.encodeBase64((accountKey + ":" + accountKey).getBytes());
String accountKeyEnc = new String(accountKeyBytes);
URL url;
try {
url = new URL(
"https://api.datamarket.azure.com/Data.ashx/Bing/Search/v1/Web?Query=%27" + searchText + "%27&$top=50&$format=json");
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setRequestMethod("GET");
conn.setRequestProperty("Authorization", "Basic " + accountKeyEnc); …对于商业用途，Microsoft对于使用Bing地图鸟瞰图收取额外费用，因此我的客户要求我禁用此选项。在控件的6.3版中，这很容易，有一个map选项可用于执行此操作：在此处输入链接说明
但是，我找不到使用控件版本7的API来执行此操作的方法。当前菜单中有鸟瞰图选项，其中复选框显示标签并显示角度视图。理想情况下，我想从菜单中禁用该选项，以便用户只能查看道路和鸟瞰图。所以看来我有两个选择：
1）用css隐藏显示角度视图复选框。这里的问题是我无法使用firebug的IE开发人员工具栏访问HTML内容，因为它仅在选中时显示。2）附加到地图maptypechanged事件，如果选择了鸟瞰图，则将其设置回以前的地图类型。
以上两个都不是理想的。有没有人建议最好的方法？
我真的被bing搜索Api困住了.在bing的开发人员中心,我找不到生成Appid的任何选项.其实我想用curl来使用bing的搜索功能.
当我尝试击中Api时,它显示以下错误:
计算机test2001AppID无法正常运行.请参阅HelpUrl以获取更多信息.http://msdn.microsoft.com/en-us/library/dd251042.aspx
数组([SearchResponse] =>数组([查询] =>数组([SearchTerms] =>计算机测试)
[Errors] => Array
(
[Error] => Array
(
[Code] => 2001
[Message] => AppID is not functioning properly. Please refer to the HelpUrl to get more information.
[HelpUrl] => http://msdn.microsoft.com/en-us/library/dd251042.aspx
)
)
)
[SearchResponse_attr] => Array
(
[xmlns] => http://schemas.microsoft.com/LiveSearch/2008/04/XML/element
[Version] => 2.0
)
)
请帮我.我认为这是一个错误的Appid错误消息所以请告诉我生成新Appid的步骤我在开发人员的中心找不到任何选项.
非常感谢提前......