如何使用python解析Javascript变量？

Question

问题:我试图从中收集数据的网站使用Javascript来生成图表.我希望能够提取图中使用的数据,但我不知道从哪里开始.例如,数据可能如下:

var line1=
[["Wed, 12 Jun 2013 01:00:00 +0000",22.4916114807,"2 sold"],
["Fri, 14 Jun 2013 01:00:00 +0000",27.4950008392,"2 sold"],
["Sun, 16 Jun 2013 01:00:00 +0000",19.5499992371,"1 sold"],
["Tue, 18 Jun 2013 01:00:00 +0000",17.25,"1 sold"],
["Sun, 23 Jun 2013 01:00:00 +0000",15.5420341492,"2 sold"],
["Thu, 27 Jun 2013 01:00:00 +0000",8.79045295715,"3 sold"],
["Fri, 28 Jun 2013 01:00:00 +0000",10,"1 sold"]];

这是定价数据(日期,价格,数量).我在这里找到了另一个问题 - 使用python从js标签中解析变量数据 - 这表明我使用JSON和BeautifulSoup,但我不确定如何将它应用于这个特定问题,因为格式略有不同.事实上,在这个问题中,代码看起来更像是python而不是任何类型的JSON字典格式.

我想我可以用字符串读取它,然后使用XPATH和一些时髦的字符串编辑来转换它,但这对于已经格式化为Javascript变量的东西来说似乎太多了.

那么,在使用python时,我可以在这里从这个变量中提取这种有组织的数据？(我最熟悉python和BS4)

Answer 1

如果您的格式只是一个或多个var foo = [JSON array or object literal];,您可以编写一个dotall正则表达式来提取它们,然后将每个格式解析为JSON.例如:

>>> j = '''var line1=
[["Wed, 12 Jun 2013 01:00:00 +0000",22.4916114807,"2 sold"],
["Fri, 14 Jun 2013 01:00:00 +0000",27.4950008392,"2 sold"],
["Sun, 16 Jun 2013 01:00:00 +0000",19.5499992371,"1 sold"],
["Tue, 18 Jun 2013 01:00:00 +0000",17.25,"1 sold"],
["Sun, 23 Jun 2013 01:00:00 +0000",15.5420341492,"2 sold"],
["Thu, 27 Jun 2013 01:00:00 +0000",8.79045295715,"3 sold"],
["Fri, 28 Jun 2013 01:00:00 +0000",10,"1 sold"]];\s*$'''
>>> values = re.findall(r'var.*?=\s*(.*?);', j, re.DOTALL | re.MULTILINE)
>>> for value in values:
...     print(json.loads(value))
[[['Wed, 12 Jun 2013 01:00:00 +0000', 22.4916114807, '2 sold'],
  ['Fri, 14 Jun 2013 01:00:00 +0000', 27.4950008392, '2 sold'],
  ['Sun, 16 Jun 2013 01:00:00 +0000', 19.5499992371, '1 sold'],
  ['Tue, 18 Jun 2013 01:00:00 +0000', 17.25, '1 sold'],
  ['Sun, 23 Jun 2013 01:00:00 +0000', 15.5420341492, '2 sold'],
  ['Thu, 27 Jun 2013 01:00:00 +0000', 8.79045295715, '3 sold'],
  ['Fri, 28 Jun 2013 01:00:00 +0000', 10, '1 sold']]]

当然这会做一些假设:

• 该行末尾的分号必须是实际的语句分隔符,而不是字符串的中间位置.这应该是安全的,因为JS没有Python风格的多行字符串.
• 代码实际上在每个语句的末尾都有分号,即使它们在JS中是可选的.大多数JS代码都有那些分号,但显然不能保证.
• 数组和对象文字实际上是JSON兼容的.绝对不能保证; 例如,JS可以使用单引号字符串,但JSON不能.但它确实适用于你的例子.
• 你的格式确实很明确.例如,如果var line2 = [[1]] + line1;代码中间可能存在语句,则会导致问题.

请注意,如果数据可能包含并非所有有效JSON的JavaScript文字,但都是有效的Python文字(这不可能,但也不是不可能),您可以使用ast.literal_eval它们而不是json.loads.但除非你知道情况如此,否则我不会这样做.

Answer 2

好的，所以有几种方法可以做到，但我最终只是使用正则表达式来查找line1=和;

#Read page data as a string
pageData = sock.read()
#set p as regular expression
p = re.compile('(?<=line1=)(.*)(?=;)')
#find all instances of regular expression in pageData
parsed = p.findall(pageData)
#evaluate list as python code => turn into list in python
newParsed = eval(parsed[0])

当您有良好的编码时，正则表达式很好，但是这种方法是否比这里的任何其他答案更好（编辑：或更糟！）？

编辑：我最终使用了以下内容：

#Read page data as a string
pageData = sock.read()
#set p as regular expression
p = re.compile('(?<=line1=)(.*)(?=;)')
#find all instances of regular expression in pageData
parsed = p.findall(pageData)
#load as JSON instead of using evaluate to prevent risky execution of unknown code
newParsed = json.loads(parsed[0])