如何减少Kaggle上的熊猫计算时间?

我正在研究2019年数据科学碗。当我使用熊猫读取数据时,培训和测试数据需要很长时间,我想减少时间以便机器可以有效地运行分析。

import numpy as np # linear algebra
import pandas as pd # data processing,CSV file I/O (e.g. pd.read_csv)

import matplotlib.pyplot as plt
import seaborn as sns
import plotly as py
import plotly.express as px
import plotly.graph_objs as go
from plotly.subplots import make_subplots
from plotly.offline import download_plotlyjs,init_notebook_mode,plot,iplot
init_notebook_mode(connected=True) 

import warnings
warnings.filterwarnings('ignore')

%matplotlib inline
keep_cols = ['event_id','game_session','installation_id','event_count','event_code','title','game_time','type','world']
specs_df = pd.read_csv('/kaggle/input/data-science-bowl-2019/specs.csv')
train_df = pd.read_csv('/kaggle/input/data-science-bowl-2019/train.csv',usecols=keep_cols)
test_df = pd.read_csv('/kaggle/input/data-science-bowl-2019/test.csv')
train_labels_df = pd.read_csv('/kaggle/input/data-science-bowl-2019/train_labels.csv')
linnil22 回答:如何减少Kaggle上的熊猫计算时间?

Pandas read_csv方法具有一个chunksize参数作为迭代器产生一定数量的行。这对于非常大的数据集很有用,您可以在其中迭代地训练较小的数据子集。

文档here中介绍了有关遍历文件的更多信息。

本文链接:https://www.f2er.com/3106811.html

大家都在问