rsu*_*min 7 java json out-of-memory token jackson
我正在尝试编写一些处理 JSON 文档的代码，其中存储在文件中的字符串值非常长（超过 10 亿个字符）。我不想将整个字符串保留在内存中（因为我可以在流中处理它们）。但我在杰克逊解析器中找不到这样的选项。到目前为止，我所做的是使用 Jackson 令牌偏移量（第一轮读取文件）和随机访问文件来处理流中的字符串（第二轮读取文件）的测试：
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.OutputStream;
import java.io.PrintWriter;
import java.io.RandomAccessFile;
import java.nio.charset.Charset;
import java.util.HashMap;
import java.util.Map;
import com.fasterxml.jackson.core.JsonFactory;
import com.fasterxml.jackson.core.JsonParser;
import com.fasterxml.jackson.core.JsonToken;
import com.fasterxml.jackson.databind.MappingJsonFactory;
public class LongStringJsonTest {
public static void main(String[] args) throws Exception {
File tempJson = new File("temp.json");
PrintWriter pw = new PrintWriter(tempJson);
pw.print("{\"k1\": {\"k11\": \"");
for (int i = 0; i < 1e8; i++)
pw.print("abcdefghij");
pw.print("\"}, \"k2\": \"klmnopqrst\", " +
"\"k3\": [\"uvwxyz\", \"0123\"]}");
pw.close();
searchForStrings(tempJson);
}
private static void searchForStrings(File tempJson) throws Exception {
JsonFactory f = new MappingJsonFactory();
JsonParser jp = f.createParser(tempJson);
Map<Long, Long> stringStartToNext = new HashMap<Long, Long>();
long lastStringStart = -1;
boolean wasFieldBeforeString = false;
while (true) {
JsonToken token = jp.nextToken();
if (token == null)
break;
if (lastStringStart >= 0) {
stringStartToNext.put(lastStringStart, (wasFieldBeforeString ? -1 : 1) *
jp.getTokenLocation().getByteOffset());
lastStringStart = -1;
wasFieldBeforeString = false;
}
if (token == JsonToken.FIELD_NAME) {
wasFieldBeforeString = true;
} else if (token == JsonToken.VALUE_STRING) {
lastStringStart = jp.getTokenLocation().getByteOffset();
} else {
wasFieldBeforeString = false;
}
}
jp.close();
jp = f.createParser(tempJson);
RandomAccessFile raf = new RandomAccessFile(tempJson, "r");
while (true) {
JsonToken token = jp.nextToken();
if (token == null)
break;
if (token == JsonToken.VALUE_STRING) {
long start = jp.getTokenLocation().getByteOffset();
long end = stringStartToNext.get(start);
// You are able to process stream without keeping all bytes in memory.
// Here you see strings including quotes around them.
final long[] length = new long[] {0};
ByteArrayOutputStream baos = new ByteArrayOutputStream();
OutputStream os = new OutputStream() {
@Override
public void write(int b) throws IOException {
throw new IOException("Method is not supported");
}
@Override
public void write(byte[] b, int off, int len)
throws IOException {
if (baos.size() < 20) {
baos.write(b, off, Math.min(len, 20));
baos.write((int)'.');
baos.write((int)'.');
baos.write((int)'.');
}
if (len > 0)
length[0] += len;
}
};
processString(raf, start, end, os);
String text = new String(baos.toByteArray(), Charset.forName("utf-8"));
System.out.println("String: " + text + ", length=" + length[0]);
}
}
jp.close();
raf.close();
}
private static void processString(RandomAccessFile raf, long start, long end,
OutputStream os) throws Exception {
boolean wasFieldBeforeString = end < 0;
int quoteNum = wasFieldBeforeString ? 3 : 1;
end = Math.abs(end);
byte[] buffer = new byte[10000];
raf.seek(start);
boolean afterBackSlash = false;
int strLen = (int)(end - start);
for (int chunk = 0; strLen > 0; chunk++) {
int ret = raf.read(buffer, 0, Math.min(buffer.length, strLen));
if (ret < 0)
break;
if (ret > 0) {
int offset = 0;
if (chunk == 0) {
// Assumption that key string doesn't contain double quotes
// and it's shorter than buffer size (for simplicity)
for (int n = 0; n < quoteNum; n++) {
while (true) {
if (buffer[offset] == '\"' && !afterBackSlash) {
break;
} else if (buffer[offset] == '\\') {
afterBackSlash = !afterBackSlash;
} else {
afterBackSlash = false;
}
offset++;
}
offset++;
}
offset--;
ret -= offset;
}
// Searching for ending quote
int endQuotePos = offset + (chunk == 0 ? 1 : 0); // Skip open quote
while (endQuotePos < offset + ret) {
if (buffer[endQuotePos] == '\"' && !afterBackSlash) {
break;
} else if (buffer[endQuotePos] == '\\') {
afterBackSlash = !afterBackSlash;
} else {
afterBackSlash = false;
}
endQuotePos++;
}
if (endQuotePos < offset + ret) {
os.write(buffer, offset, endQuotePos + 1 - offset);
break;
}
os.write(buffer, offset, ret);
strLen -= ret;
}
}
}
}
这种方法根本不支持unicode。我很好奇有没有办法做得更好（或者甚至在其他一些库的帮助下）？
现在我知道 JSON 格式对于具有很长字符串值的文档来说并不是最佳解决方案。但以防万一有人面临类似的问题（例如，当已经给出这样的 JSON 文件并且需要将其转换为某种更好的格式时）。这意味着应该以某种方式至少解析文档一次。这是我的调查：
1) FasterXML/Jackson 令牌流不允许处理长字符串的标准方法（按部分加载它们）。我发现处理它们的唯一方法是像我在问题中所做的那样+手动处理unicode。
2) Google/Gson 的 JsonReader 也允许用户将 JSON 作为令牌流进行处理。有 nextString 方法（https://github.com/google/gson/blob/master/gson/src/main/java/com/google/gson/stream/JsonReader.java#L816）。但没有办法分部分获取它或获取它在 JSON 文件中的位置的任何信息（除了几个私有方法： https: //github.com/google/gson/blob/master/gson/src/main /java/com/google/gson/stream/JsonReader.java#L1317-L1323）。
3）fangyidong/Json-simple使用SAX风格的推送接口。但对于字符串只有一种方法： https: //github.com/fangyidong/json-simple/blob/master/src/main/java/org/json/simple/parser/ContentHandler.java#L108
4）我唯一的希望是beckchr/StAXON。因为它将JSON转换为XML，然后使用XMLStreamReader。有一种方法允许按部分读取字符串：http://grepcode.com/file/repository.grepcode.com/java/root/jdk/openjdk/6-b14/javax/xml/stream/XMLStreamReader.java# XMLStreamReader.getTextCharacters%28int%2Cchar%5B%5D%2Cint%2Cint%29。但不幸的是，OutOfMemoryError 恰好发生在转换过程中的 JSON 解析中。这是我的代码：
private static void useStaxon(File tempJson) throws Exception {
XMLInputFactory factory = new JsonXMLInputFactory();
XMLStreamReader reader = factory.createXMLStreamReader(new FileReader(tempJson));
while (true) {
if (reader.getEventType() == XMLStreamConstants.END_DOCUMENT)
break;
if (reader.isCharacters()) {
long len = reader.getTextLength();
String text;
if (len > 20) {
char[] buffer = new char[20];
reader.getTextCharacters(0, buffer, 0, buffer.length);
text = new String(buffer) + "...";
} else {
text = reader.getText();
}
System.out.println("String: " + text + " (length=" + len + ")");
}
reader.next();
}
reader.close();
}
错误堆栈跟踪是：
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at de.odysseus.staxon.json.stream.impl.Yylex.zzRefill(Yylex.java:346)
at de.odysseus.staxon.json.stream.impl.Yylex.yylex(Yylex.java:600)
at de.odysseus.staxon.json.stream.impl.Yylex.nextSymbol(Yylex.java:271)
at de.odysseus.staxon.json.stream.impl.JsonStreamSourceImpl.next(JsonStreamSourceImpl.java:120)
at de.odysseus.staxon.json.stream.impl.JsonStreamSourceImpl.peek(JsonStreamSourceImpl.java:250)
at de.odysseus.staxon.json.JsonXMLStreamReader.consume(JsonXMLStreamReader.java:150)
at de.odysseus.staxon.json.JsonXMLStreamReader.consume(JsonXMLStreamReader.java:153)
at de.odysseus.staxon.json.JsonXMLStreamReader.consume(JsonXMLStreamReader.java:183)
at de.odysseus.staxon.json.JsonXMLStreamReader.consume(JsonXMLStreamReader.java:153)
at de.odysseus.staxon.json.JsonXMLStreamReader.consume(JsonXMLStreamReader.java:183)
at de.odysseus.staxon.base.AbstractXMLStreamReader.initialize(AbstractXMLStreamReader.java:216)
at de.odysseus.staxon.json.JsonXMLStreamReader.initialize(JsonXMLStreamReader.java:87)
at de.odysseus.staxon.json.JsonXMLStreamReader.<init>(JsonXMLStreamReader.java:78)
at de.odysseus.staxon.json.JsonXMLInputFactory.createXMLStreamReader(JsonXMLInputFactory.java:150)
at de.odysseus.staxon.json.JsonXMLInputFactory.createXMLStreamReader(JsonXMLInputFactory.java:45)
at test20150911.LongStringJsonTest.useStaxon(LongStringJsonTest.java:40)
at test20150911.LongStringJsonTest.main(LongStringJsonTest.java:35)
5）最后的希望是一些用 C 编写的工具首先将我的 JSON 转换为 BSON。对于 BSON，我会尝试做一些更好的处理。这似乎是最有名的： https: //github.com/dwight/bsontools。当我在 1 Gb JSON 文件上运行此包中的“fromjson”命令行工具后，它会将其全部加载到内存中（这太糟糕了），然后执行了 10 分钟的操作。我实际上没有等到最后，因为 10 分钟对于 1 GB 的文件来说太长了，不是吗？（注意：我的相关java代码运行时间不到半分钟）。
所以最终的答案是：(1) 不，看起来没有标准方法可以实现所讨论的目标，(2) 使用 FasterXML/Jackson 可能是在这种情况下可以完成的最佳 Java 解决方案。
| 归档时间： |
|
| 查看次数： |
1762 次 |
| 最近记录： |