Files.walkFileTree的并行版本(java或scala)

前端之家收集整理的这篇文章主要介绍了Files.walkFileTree的并行版本(java或scala)前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
有没有人知道 java Files.walkFileTree或类似东西的任何并行等价物?它可以是 Java或Scala库.

解决方法

我们假设在每个文件上执行回调就足够了.

这段代码不会处理文件系统中的循环 – 你需要一个注册表来表明你曾经去过的地方(例如java.util.concurrent.ConcurrentHashMap).您可以添加各种改进,例如报告异常而不是静默忽略它们.

@H_404_8@import java.io.File import scala.util._ def walk(f: File,callback: File => Unit,pick: File => Boolean = _ => true) { Try { val (dirs,fs) = f.listFiles.partition(_.isDirectory) fs.filter(pick).foreach(callback) dirs.par.foreach(f => walk(f,callback,pick)) } }

使用折叠而不是使用foreach来收集文件并不是非常困难,但我将其作为练习留给读者. (ConcurrentLinkedQueue可能足够快,无论如何都要在回调中接受它们,除非你的线程非常慢并且文件系统很棒.)

猜你在找的Java相关文章