标签: web-scraping

我正在考虑使用Beautiful Soup,一个用于HTML抓取的Python包.我应该看看还有其他HTML抓包吗？Python不是必需的,我实际上也有兴趣了解其他语言.

到目前为止的故事:

• 蟒蛇
  • 美丽的汤
  • LXML
  • HTQL
  • Scrapy
  • 机械化
• 红宝石
  • 引入nokogiri
  • 角度来说,Hpricot
  • 机械化
  • scrAPI
  • scRUBYt!
  • 袋熊
  • 的Watir
• .净
  • Html敏捷包
  • 华廷
• Perl的
  • WWW ::机械化
  • 网页式铲运机
• Java的
  • 标签汤
  • 的HtmlUnit
  • 网络丰收
  • jARVEST
  • jsoup
  • 杰里科HTML解析器
• JavaScript的
  • 请求
  • cheerio
  • artoo
  • 节点骑手
  • phantomjs
• PHP
  • GOUTTE
  • htmlSQL
  • PHP简单的HTML DOM解析器
  • PHP使用CURL进行刮擦
  • ScarletsQuery
• 大多数人
  • 屏幕刮板

我正在尝试为浏览器自动测试套件和能够抓取的无头浏览器平台列出可能的解决方案列表.

浏览器测试/清除:

• Selenium - 浏览器自动化中的多语言旗舰,Python,Ruby,JavaScript,C#,Haskell等的绑定,用于Firefox的IDE(作为扩展),用于更快的测试部署.可以充当服务器并具有大量功能.

JAVASCRIPT

• PhantomJS - JavaScript,带有屏幕捕获和自动化的无头测试,使用Webkit.从版本1.8开始,实现了Selenium的WebDriver API,因此您可以使用任何WebDriver绑定,并且测试将与Selenium兼容
• SlimerJS - 与PhantomJS类似,使用Gecko(Firefox)代替WebKit
• CasperJS - 基于PhantomJS和SlimerJS构建的JavaScript具有额外的功能
• Ghost驱动程序 - 用于PhantomJS的WebDriver Wire协议的JavaScript实现.
• 新的 PhantomCSS - CSS回归测试.CasperJS模块,用于使用PhantomJS和 Resemble.js自动进行可视化回归测试.
• 新 WebdriverCSS -插件为 Webdriver.io自动化视觉回归测试
• 新的 PhantomFlow - 通过测试描述和可视化用户流.Web用户界面测试的实验方法.
• new trifleJS - 将PhantomJS API移植到使用Internet Explorer引擎.
• 新的 CasperJS IDE (商业)

Node.js的

• Node-phantom - 填补了PhantomJS和node.js之间的空白
• WebDriverJs - Selenium团队对node.js的Selenium WebDriver绑定
• WD.js - WebDriver/Selenium 2的节点模块
• yiewd - …

我使用Beautifulsoup解析带有"class"属性的html元素时遇到问题.代码看起来像这样

soup = BeautifulSoup(sdata)
mydivs = soup.findAll('div')
for div in mydivs: 
    if (div["class"] == "stylelistrow"):
        print div

我在脚本完成后"同一行"收到错误.

File "./beautifulcoding.py", line 130, in getlanguage
  if (div["class"] == "stylelistrow"):
File "/usr/local/lib/python2.6/dist-packages/BeautifulSoup.py", line 599, in __getitem__
   return self._getAttrMap()[key]
KeyError: 'class'

我该怎么摆脱或这个错误？

在我的项目中,我需要将Google缓存时代添加为重要信息.我尝试搜索Google缓存时代的来源,即Google上次重新索引所列页面的天数.

我在哪里可以获得Google缓存时代？

我编写了很多解析器.到目前为止,我使用HtmlUnit无头浏览器进行解析和浏览器自动化.

现在,我想分开两个任务.

由于80%的工作只涉及解析,我想使用轻量级HTML解析器,因为在HtmlUnit中首先加载页面需要花费很多时间,然后获取源然后解析它.

我想知道哪个HTML解析器是最好的.如果它接近HtmlUnit解析器,解析器会更好.

编辑:

最好的,我至少需要以下功能:

1. 速度
2. 通过"id"或"name"或"tag type"轻松找到任何HtmlElement.

如果它不清除脏HTML代码,那对我来说没问题.我不需要清理任何HTML源代码.我只需要一种最简单的方法来移动HtmlElements并从中获取数据.

我正在尝试开发一个简单的网络刮刀.我想在没有HTML代码的情况下提取文本.事实上,我实现了这个目标,但我已经看到在加载JavaScript的某些页面中我没有获得好的结果.

例如,如果某些JavaScript代码添加了一些文本,我看不到它,因为当我打电话时

response = urllib2.urlopen(request)

我没有添加原始文本(因为JavaScript在客户端中执行).

所以,我正在寻找一些解决这个问题的想法.

如何使用XML包刮取html表？

以巴西足球队的维基百科页面为例.我想在R中阅读并获得"巴西队对阵FIFA认可球队所有比赛的名单"表作为data.frame.我怎样才能做到这一点？

我需要从下拉菜单中选择一个元素.

例如,打开这个:

<select id="fruits01" class="select" name="fruits">
  <option value="0">Choose your fruits:</option>
  <option value="1">Banana</option>
  <option value="2">Mango</option>
</select>

1. 所以首先我要点击它.我这样做:

   inputElementFruits = driver.find_element_by_xpath("//select[id='fruits']").click()
   

   Run Code Online (Sandbox Code Playgroud)

(好吧,打开菜单)

2. 在我必须选择好元素之后,让我们说芒果.我尝试了不同的东西,Mango但它没有用.

我知道Internet上图像的URL.

例如http://www.digimouth.com/news/media/2011/09/google-logo.jpg,其中包含Google的徽标.

现在,如何使用Python下载此图像,而无需在浏览器中实际打开URL并手动保存文件.

如何检索网页的链接并使用Python复制链接的URL地址？