相关疑难解决方法(0)

我寻找一个可以在命令行上运行的工具,如下所示:

tablescrape 'http://someURL.foo.com' [n]

如果n未指定且页面上有多个HTML表,则应在编号列表中对它们进行汇总(标题行,总行数).如果n指定了或者只有一个表,它应该解析表并将其作为CSV或TSV吐出到stdout.

潜在的附加功能:

• 真的很花哨你可以在一个表中解析一个表,但是为了我的目的 - 从维基百科页面中获取数据等 - 这太过分了.
• asciify任何unicode的选项.
• 应用任意正则表达式替换来修复已解析表中的奇怪现象的选项.

你会用什么来拼凑这样的东西？Perl模块HTML :: TableExtract可能是一个很好的起点,甚至可以处理嵌套表的情况.这也可能是一个非常简短的Python脚本与BeautifulSoup.将YQL是一个很好的起点？或者,理想情况下,你有类似的东西写一个指针吗？(我肯定不是第一个需要这个的人.)

相关问题:

• 如何将HTML表格刮到CSV？
• 如何将HTML表格转换为CSV？
• HTML抓取的选项？

我想编写一个程序来搜索一个相当大的网站并提取某些内容。我有几个在线 Python 课程，但都没有提到如何使用 Python 访问互联网。我不知道我应该从哪里开始。

我想创建一个 Android 应用程序，可以在其中从特定网站抓取数据。该网站上的信息可能会发生变化（文本数据）。此外，我不知道 HTML 结构是否会随着时间的推移而变化。我的问题是：

1. 有人推荐一个特定的抓取工具或框架（免费）吗？
2. 我如何知道网站上的信息（文本数据）何时发生更改，以便我可以更新我的应用程序？
3. 如何应对网站HTML结构的变化？

这是我第一次抓取经验，任何答案都可以对我有很大帮助。谢谢

我正在.NET项目中使用正则表达式来获取特定标记.我想匹配整个DIV标签及其内容:

<html>
   <head><title>Test</title></head>
   <body>
     <p>The first paragraph.</p>
     <div id='super_special'>
        <p>The Store paragraph</p>
     </div>
     </body>
  </head>

码:

    Regex re = new Regex("(<div id='super_special'>.*?</div>)", RegexOptions.Multiline);


    if (re.IsMatch(test))
        Console.WriteLine("it matches");
    else
        Console.WriteLine("no match");

我想要匹配这个:

<div id="super_special">
   <p>Anything could go in here...doesn't matter.  Let's get it all</p>
</div>

我以为.应该得到所有的角色,但似乎有回车问题.我的正则表达式遗失了什么？

谢谢.

我发现HTML Agility Pack对屏幕抓取网站很有用且易于使用.什么是Java,Ruby,Python中HTML屏幕抓取的等效库？