如何使用stream-json包在Node.js中的特定位置恢复对大型JSON流的解析?

我很高兴向您展示了如何使用stream-json模块从一个很大的JSON文件中实际解析JSON对象。这是一个非常简单明了的内置方法it turns out

但是,看着stream-json的Wiki,我看不到在特定对象索引处恢复处理的方法。我怎样才能做到这一点?或更笼统地说,如果没有快速的方法,该如何在纯JSON流或纯gzip压缩的字符串流中的特定位置恢复?

对于背景,我正在解析Wikidata JSON dump,它约为90GB。我在转储items中进行了第一轮解析,以收集每个实体/项目的类,但是由于该过程中某些意外的数据结构 760,000 ,我的解析器崩溃了! !!谁知道实际上有多少个物品哈哈。但是我已经重新启动了该过程,这次是尝试捕获来跳过不良数据。我最初忘记给它计时,但是这次对它计时大约要花费每1000个项目4秒来解析此JSON流。所以4s * 760 = 3040s大约需要 50分钟,回到我上次离开的地方。这是一个漫长的等待时间,特别是因为当我发现要从此数据中检索的新内容时,我将不得不进行5或10轮解析。因此,我想知道如何跳到崩溃或我停下的地方。

如何使用stream-json来做到这一点?也许有一种方法可以重做StreamArray代码以支持跳转到特定项目。或者,也许我可以以某种方式将原始wikidata/latest-all.json.gz gzip字符串流与stream-json关联,以便可以指向latest-all.json.gz字符串中fs.createReadStream应该开始读取的某个位置?这样的事情。

很想知道如何在某个特定位置恢复。在这种情况下我该怎么办?

我当前的代码本质上是这样的:

const fs = require('fs')
const zlib = require('zlib')
const { parser } = require('stream-json')
const { streamArray } = require('stream-json/streamers/StreamArray')

let input = fs.createReadStream(`./wikidata/latest-all.json.gz`)

input
  .pipe(zlib.createGunzip())
  .pipe(parser())
  .pipe(streamArray())
  .on('data',d => handle(d.value))

function handle(object) {
  // each entity in the json stream
}

对于我来自哪里的上下文,我正在考虑与resuming a wget download with the -c option相同的思路。如果您的互联网因wget下载100GB或一组10,000个文件而中断,那么您基本上可以执行wget -c <url>并继续从上次中断的地方进行操作,而不必重新下载所有内容。我想用JSON流解析器做同样的事情。跳过崩溃或程序退出之前我已经解析的所有实体。

如果没有简单的方法可以做到这一点,我可以使用哪种黑客手段?

实际上,前几千个项目每个花费4秒钟,现在看来,当我们移入流中的后面数据时,它们每个花费0.5-1s,因此30分钟后,我得到了1,271,000个项目。稍微好一点,但仍然需要很长时间。

qqqboyqqq 回答:如何使用stream-json包在Node.js中的特定位置恢复对大型JSON流的解析?

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/1299523.html

大家都在问