我很高兴向您展示了如何使用stream-json模块从一个很大的JSON文件中实际解析JSON对象。这是一个非常简单明了的内置方法it turns out!
但是,看着stream-json的Wiki,我看不到在特定对象索引处恢复处理的方法。我怎样才能做到这一点?或更笼统地说,如果没有快速的方法,该如何在纯JSON流或纯gzip压缩的字符串流中的特定位置恢复?
对于背景,我正在解析Wikidata JSON dump,它约为90GB。我在转储items中进行了第一轮解析,以收集每个实体/项目的类,但是由于该过程中某些意外的数据结构 760,000 ,我的解析器崩溃了! !!谁知道实际上有多少个物品哈哈。但是我已经重新启动了该过程,这次是尝试捕获来跳过不良数据。我最初忘记给它计时,但是这次对它计时大约要花费每1000个项目4秒来解析此JSON流。所以4s * 760 = 3040s大约需要 50分钟,回到我上次离开的地方。这是一个漫长的等待时间,特别是因为当我发现要从此数据中检索的新内容时,我将不得不进行5或10轮解析。因此,我想知道如何跳到崩溃或我停下的地方。
如何使用stream-json来做到这一点?也许有一种方法可以重做StreamArray代码以支持跳转到特定项目。或者,也许我可以以某种方式将原始wikidata/latest-all.json.gz
gzip字符串流与stream-json关联,以便可以指向latest-all.json.gz
字符串中fs.createReadStream
应该开始读取的某个位置?这样的事情。
很想知道如何在某个特定位置恢复。在这种情况下我该怎么办?
我当前的代码本质上是这样的:
const fs = require('fs')
const zlib = require('zlib')
const { parser } = require('stream-json')
const { streamArray } = require('stream-json/streamers/StreamArray')
let input = fs.createReadStream(`./wikidata/latest-all.json.gz`)
input
.pipe(zlib.createGunzip())
.pipe(parser())
.pipe(streamArray())
.on('data',d => handle(d.value))
function handle(object) {
// each entity in the json stream
}
对于我来自哪里的上下文,我正在考虑与resuming a wget download with the -c
option相同的思路。如果您的互联网因wget下载100GB或一组10,000个文件而中断,那么您基本上可以执行wget -c <url>
并继续从上次中断的地方进行操作,而不必重新下载所有内容。我想用JSON流解析器做同样的事情。跳过崩溃或程序退出之前我已经解析的所有实体。
如果没有简单的方法可以做到这一点,我可以使用哪种黑客手段?
实际上,前几千个项目每个花费4秒钟,现在看来,当我们移入流中的后面数据时,它们每个花费0.5-1s,因此30分钟后,我得到了1,271,000个项目。稍微好一点,但仍然需要很长时间。