MRJOB 打开 JSON 文件 - Python

Question

我试图加载一个 json 文件作为映射器函数的一部分，但它返回“目录中没有这样的文件”，尽管该文件存在。

我已经打开一个文件并解析它的行。但想要将其一些值与第二个 JSON 文件进行比较。

from mrjob.job import MRJob
import json
import nltk
import re    

WORD_RE = re.compile(r"\b[\w']+\b")
sentimentfile = open('sentiment_word_list_stemmed.json') 

def mapper(self, _, line):
    stemmer = nltk.PorterStemmer()
    stems = json.loads(sentimentfile)

    line = line.strip()
    # each line is a json line
    data = json.loads(line)
    form = data.get('type', None)

    if form == 'review':
      bs_id = data.get('business_id', None)
      text = data['text']
      stars = data['stars']

      words = WORD_RE.findall(text)
      for word in words:
        w = stemmer.stem(word)
        senti = stems.get[w]

        if senti:
          yield (bs_id, (senti, 1))

Answer 1

您根本不应该在映射器函数中打开文件。您只需将文件作为 STDIN 或作为映射器的第一个参数传递即可拾取它。像这样做：

python mrjob_program.py sentiment_word_list_stemmed.json > output

或者

python mrjob_program.py < sentiment_word_list_stemmed.json > output

任何一个都会起作用。它表示不存在这样的文件或目录，因为这些映射器无法看到您指定的文件。映射器设计为在远程计算机上运行。即使您想从映射器中的文件中读取数据，您也需要复制要传递到集群中所有计算机的文件，这对于本例来说并没有多大意义。您实际上可以指定 DEFAULT_INPUT_PROTOCOL，以便映射器也知道您正在使用哪种类型的输入。

以下是关于该主题的演讲，将会有所帮助：

http://blip.tv/pycon-us-videos-2009-2010-2011/pycon-2011-mrjob-distributed-computing-for-everyone-4898987/