Twitter4j TwitterStream或BufferReading导致java.lang.OutOfMemoryError:Java堆空间

Question

这是我的第一篇Stackoverflow帖子,对不起,如果不是很好的话.反馈肯定会有所帮助!

我目前正在java.lang.OutOfMemoryError: Java Heap space使用Twitter Streaming API处理项目问题.

在大约500 - 1000条推文中流式传输之后出现错误,我无法确定导致它发生的原因.

在我的onStatus方法中StatusListener我有以下代码:

public void onStatus(Status status) {

        tweetCount++;
        System.out.println("Tweet #" + tweetCount);

        String statusInfo = status.getText().replaceAll("\n", "").replaceAll("\r", "");

        String usersCountry = getTweetUserLocation(status);
        status = null;

        if(!usersCountry.equals("INVALID_LOCATION")){
           countryList.updateWhoTalkedAboutWho(usersCountry, statusInfo);
        }

        try {
           Thread.sleep(1000);
        } catch (InterruptedException e) {
           // TODO Auto-generated catch block
           System.out.println("Exception in onStatus() catch block");
           e.printStackTrace();
        }
     }

错误可能是由状态进入的速度引起的吗？我可以理解为什么如果状态比处理速度快得多,它会占用更多内存.

另一个嫌疑人是BufferReader,这里是代码:

URL url = new URL(urlStr);
URLConnection conn = url.openConnection();

BufferedReader rd = new BufferedReader(new InputStreamReader(
       conn.getInputStream()));
StringBuffer sb = new StringBuffer();
String line;

while ((line = rd.readLine()) != null) {
    sb.append(line);
}

rd.close();
rd=null;
result = sb.toString();

如果你知道为什么会这样,请告诉我OutOfMemoryError.如果您想查看整个代码,请查看我的GitHub存储库

这是在遇到错误后的堆栈跟踪:

Exception in thread "Twitter Stream consumer-1[Receiving stream]" java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Arrays.java:2882)
at java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:100)
at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:515)
at java.lang.StringBuffer.append(StringBuffer.java:306)
at java.io.BufferedReader.readLine(BufferedReader.java:333)
at java.io.BufferedReader.readLine(BufferedReader.java:362)
at twitter4j.StatusStreamBase.handleNextElement(StatusStreamBase.java:85)
at twitter4j.StatusStreamImpl.next(StatusStreamImpl.java:57)
at twitter4j.TwitterStreamImpl$TwitterStreamConsumer.run(TwitterStreamImpl.java:478)
Exception in thread "Twitter4J Async Dispatcher[0]" java.lang.OutOfMemoryError: Java heap space
at java.io.BufferedReader.<init>(BufferedReader.java:80)
at java.io.BufferedReader.<init>(BufferedReader.java:91)
at TweetCountry.sendGetRequest(TweetCountry.java:75)
at TweetCountry.findCountryName(TweetCountry.java:28)
at StreamTweets.getTweetUserLocation(StreamTweets.java:135)
at StreamTweets.access$4(StreamTweets.java:115)
at StreamTweets$1.onStatus(StreamTweets.java:45)
at twitter4j.StatusStreamImpl.onStatus(StatusStreamImpl.java:75)
at twitter4j.StatusStreamBase$1.run(StatusStreamBase.java:114)
at twitter4j.internal.async.ExecuteThread.run(DispatcherImpl.java:116)

Answer 1

我现在知道我做错了什么了！状态监听器中的 onStatus() 方法应该（最多）存储传入的状态信息而不是处理。这次我将使用两个程序，一个用于使用状态信息填充数据库或文件，另一个用于处理该数据。