我需要处理大量（约60K）小文件（
我正在使用具有标准读/写功能的Python 3，性能真的很差。
您知道Python是否有任何库支持这种情况吗？
或者我该怎么做才能获得更好的性能？
非常感谢！
Python：读取/写入大量小文件
•
问答
einspei 回答：Python：读取/写入大量小文件
请记住，I / O操作非常繁琐，并且写入或读取文件会产生开销。
写入1024个新文件（每个文件大小为1kb）将比写入单个1mb的新文件花费更多的时间。 打开系统所需的每个文件都需要在文件系统上找到一个位置并写入其元数据。
因此，无论您计划什么，您的性能可能都不会很好，但是我还是建议您确保自己在最大程度上减少操作量（例如，全部上传）文件到FTP服务器，而不是打开每个文件的连接并自行上传）。
我建议您从代码中发布一个代码段，以便人们可以帮助您确保该代码是最小的