熊猫read_csv无法读取整个文件

我有一个非常奇怪的问题,不知道如何解决。 我正在将Ubuntu 18.04.2与Python 3.7.3 64位一起使用,并使用VScode作为编辑器。 我正在从数据库中读取数据,并使用csv.writer将其写入csv文件

import pandas as pd
import csv
with open(raw_path + station + ".csv","w+") as f:
        file = csv.writer(f)
        # Write header into csv
        colnames = [par for par in param]
        file.writerow(colnames)
        # Write data into csv
        for row in data:
            file.writerow(row)

这很好用,它提供了一个.csv文件,其中包含我从数据库读取到当前时间步的所有数据。但是,在随后的工作步骤中,我必须将此数据读取到pandas数据框,然后将其与另一个pandas数据框合并。我读了这样的文件:

data1 = pd.read_csv(raw_path + file1,sep=',')
data2 = pd.read_csv(raw_path + file2,')

然后像这样合并数据:

comb_data = pd.merge(data1,data2,on="datumsec",how="left").fillna(value=-999)

对于我执行的6个位置中的5个,一切工作都很好,合并后的数据集的长度与两个单独的位置相同。但是对于一个位置,pd.read_csv似乎无法正确读取csv文件。我检查了问题是否已经在数据库读出中了,但是在那里一切正常,我可以用sublime打开两个文件,它们的长度相同,但是当我用pandas.read_csv读取它们时,显示的行数更少。最好的部分是,这个问题似乎是完全随机的。有时它可以读取整个文件,有时不能。并且它发生在文件中的不同位置。有时大约停止后会停止。 20000个条目,有时是45000个,有时是其他地方。.完全随机。

这是我打印所有长度的文件时测试输出的概述

print(len(data1)): 57105 
print(len(data2)): 57105
从数据库中读取后,直接

这两个值,然后再写入任何位置。 如上所述将数据另存为csv并以excel或sublime或其他格式打开后,我可以确认数据包含57105行。一切都应该在原处。

但是,如果我尝试像pd.read_csv一样读取数据

print(len(data1)): 48612 
print(len(data2)): 57105

从csv文件中读取数据后的两个值

data1 48612
         datumsec  tl   rf  ff   dd  ffx
0      1538352000  46   81  75  288   89
1      1538352600  47   79  78  284   93
2      1538353200  45   82  79  282   93
3      1538353800  44   84  71  284   91
4      1538354400  43   86  77  288   96
5      1538355000  43   85  78  289   91
6      1538355600  46   80  79  286   84
7      1538356200  51   72  68  285   83
8      1538356800  52   71  68  281   73
9      1538357400  48   75  68  276   80
10     1538358000  45   78  62  271   76
11     1538358600  42   82  66  273   76
12     1538359200  43   81  70  274   78
13     1538359800  44   80  68  275   78
14     1538360400  45   78  66  279   72
15     1538361000  45   78  67  282   73
16     1538361600  43   79  63  275   71
17     1538362200  43   81  69  280   74
18     1538362800  42   80  70  281   76
19     1538363400  43   78  69  285   77
20     1538364000  43   78  71  285   77
21     1538364600  44   75  61  288   71
22     1538365200  45   73  56  290   62
23     1538365800  45   72  44  297   57
24     1538366400  44   73  51  286   57
25     1538367000  43   76  61  281   70
26     1538367600  40   79  66  284   73
27     1538368200  39   78  70  291   76
28     1538368800  38   80  71  287   81
29     1538369400  36   81  74  285   81
...           ...  ..  ...  ..  ...  ...
48582  1567738800   7  100   0  210    0
48583  1567739400   6  100   0  210    0
48584  1567740000   5  100   0  210    0
48585  1567740600   6  100   0  210    0
48586  1567741200   4  100   0  210    0
48587  1567741800   4  100   0  210    0
48588  1567742400   5  100   0  210    0
48589  1567743000   4  100   0  210    0
48590  1567743600   4  100   0  210    0
48591  1567744200   4  100   0  209    0
48592  1567744800   4  100   0  209    0
48593  1567745400   5  100   0  210    0
48594  1567746000   6  100   0  210    0
48595  1567746600   5  100   0  210    0
48596  1567747200   5  100   0  210    0
48597  1567747800   5  100   0  210    0
48598  1567748400   5  100   0  210    0
48599  1567749000   6  100   0  210    0
48600  1567749600   6  100   0  210    0
48601  1567750200   5  100   0  210    0
48602  1567750800   4  100   0  210    0
48603  1567751400   5  100   0  210    0
48604  1567752000   6  100   0  210    0
48605  1567752600   7  100   0  210    0
48606  1567753200   6  100   0  210    0
48607  1567753800   5  100   0  210    0
48608  1567754400   6  100   0  210    0
48609  1567755000   7  100   0  210    0
48610  1567755600   7  100   0  210    0
48611  1567756200   7  100   0  210    0
[48612 rows x 6 columns]
         datumsec   tl   rf  schnee  ival6
0      1538352000  115   61      25    107
1      1538352600  115   61      25    107
2      1538353200  115   61      25    107
3      1538353800  115   61      25    107
4      1538354400  115   61      25    107
5      1538355000  115   61      25    107
6      1538355600  115   61      25    107
7      1538356200  115   61      25    107
8      1538356800  115   61      25    107
9      1538357400  115   61      25    107
10     1538358000  115   61      25    107
11     1538358600  115   61      25    107
12     1538359200  115   61      25    107
13     1538359800  115   61      25    107
14     1538360400  115   61      25    107
15     1538361000  115   61      25    107
16     1538361600  115   61      25    107
17     1538362200  115   61      25    107
18     1538362800  115   61      25    107
19     1538363400  115   61      25    107
20     1538364000  115   61      25    107
21     1538364600  115   61      25    107
22     1538365200  115   61      25    107
23     1538365800  115   61      25    107
24     1538366400  115   61      25    107
25     1538367000  115   61      25    107
26     1538367600  115   61      25    107
27     1538368200  115   61      25    107
28     1538368800  115   61      25    107
29     1538369400  115   61      25    107
...           ...  ...  ...     ...    ...
57075  1572947400  -23  100      -2   -999
57076  1572948000  -23  100      -2   -999
57077  1572948600  -22  100      -2   -999
57078  1572949200  -23  100      -2   -999
57079  1572949800  -24  100      -2   -999
57080  1572950400  -23  100      -2   -999
57081  1572951000  -21  100      -1   -999
57082  1572951600  -21  100      -1   -999
57083  1572952200  -23  100      -1   -999
57084  1572952800  -23  100      -1   -999
57085  1572953400  -22  100      -1   -999
57086  1572954000  -23  100      -1   -999
57087  1572954600  -22  100      -1   -999
57088  1572955200  -24  100       0   -999
57089  1572955800  -24  100       0   -999
57090  1572956400  -25  100       0   -999
57091  1572957000  -26  100      -1   -999
57092  1572957600  -26  100      -1   -999
57093  1572958200  -27  100      -1   -999
57094  1572958800  -25  100      -1   -999
57095  1572959400  -27  100      -1   -999
57096  1572960000  -29  100      -1   -999
57097  1572960600  -28  100      -1   -999
57098  1572961200  -28  100      -1   -999
57099  1572961800  -27  100      -1   -999
57100  1572962400  -29  100      -2   -999
57101  1572963000  -29  100      -2   -999
57102  1572963600  -29  100      -2   -999
57103  1572964200  -30  100      -2   -999
57104  1572964800  -28  100      -2   -999
[57105 rows x 5 columns]

对我来说,数据中没有明显的原因为什么它读取整个文件时会有问题,而显然没有问题,考虑到有时读取整个文件而有时却没有。

我对此一无所知。您是否知道如何应对,可能是什么问题? 非常感谢您的帮助! 维罗妮卡

usb333 回答:熊猫read_csv无法读取整个文件

我终于解决了我的问题,并且正如预期的那样,该问题不在文件本身之内。我正在使用多进程并行运行命名函数和其他一些东西。从数据库读取+写入csv文件和从csv文件读取是在两个不同的过程中执行的。因此,第二个过程(从csv读取)不知道csv文件仍在写入中,并且仅读取csv文件中已经可用的内容。由于文件是通过其他进程打开的,因此在打开文件时不会引发异常。 我以为我已经做好了这件事,但显然还不够周到,排除了所有可能的情况。

无论如何,感谢大家试图帮助我解决这个谜题。

本文链接:https://www.f2er.com/3158147.html

大家都在问