我有Scala spark CrossValidator的问题

我正在使用 SPARK 版本2.1.0.cloudera2,并且在使用Scala spark运行以下代码时遇到错误。

使用Pyspark时,此代码可完美运行。

19/11/14 20:47:14错误scheduler.TaskSetManager:阶段10.0中的任务1失败4次;正在中止工作

名称:org.apache.spark.SparkException 消息:作业由于阶段故障而中止:阶段190.0中的任务1失败4次

val paramGrid = new ParamGridBuilder().addGrid(randomForestClassifier.maxBins,Array(25,28,31)).addGrid(randomForestClassifier.maxDepth,Array(4,6,8)).addGrid(randomForestClassifier.impurity,Array("entropy","gini")) .build()
val cv = new CrossValidator().setEstimator(pipeline).setEvaluator(evaluator).setEstimatorParamMaps(paramGrid).setNumFolds(5)
val cvModel = cv.fit(pipelineTrainingData)
libaisong1114 回答:我有Scala spark CrossValidator的问题

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/3099297.html

大家都在问