维基媒体浏览量压缩不起作用

2024-05-18 • 问答

我正在尝试分析每月 wikimedia pageview 的统计数据。他们的每日转储还可以，但 2021 年 6 月 (https://dumps.wikimedia.org/other/pageview_complete/monthly/2021/2021-06/pageviews-202106-user.bz2) 的月度报告似乎已损坏：

[radim@sandbox2 pageviews]$ bzip2 -t pageviews-202106-user.bz2 
bzip2: pageviews-202106-user.bz2: bad magic number (file not created by bzip2)

You can use the `bzip2recover' program to attempt to recover
data from undamaged sections of corrupted files.

[radim@sandbox2 pageviews]$ file pageviews-202106-user.bz2 
pageviews-202106-user.bz2: Par archive data

知道如何提取数据吗？这里使用什么编码？它可以是来自他们的 Hive 分析集群的 Parquet 文件吗？

$ java -cp 'target/*:target/dependency/*' org.apache.parquet.cli.Main schema /tmp/pageviews-202106-user.bz2 2>/dev/null { "type" : "record","name" : "hive_schema","fields" : [ { "name" : "line","type" : [ "null","string" ],"default" : null } ] }

维基媒体浏览量压缩不起作用

sanhewangluo 回答：维基媒体浏览量压缩不起作用

大家都在问