上海古都建筑设计集团,上海办公室装修设计公司,上海装修公司高质量的内容分享社区,上海装修公司我们不是内容生产者,我们只是上海办公室装修设计公司内容的搬运工平台

【BUG】Windows配置spark运行cmd时报错:WARN ProcfsMetricsGetter: Exception when trying to compute pagesize,...

guduadmin11天前

报错:WARN ProcfsMetricsGetter: Exception when trying to compute pagesize, as a result reporting of ProcessTree metrics is stopped

解决方法:

1.配置环境

spark的解压路径下

【BUG】Windows配置spark运行cmd时报错:WARN ProcfsMetricsGetter: Exception when trying to compute pagesize,...,在这里插入图片描述,第1张

将其添加到环境变量:

%SPARK_HOME%\bin;%SPARK_HOME%\sbin;%SPARK_HOME%\python;%SPARK_HOME%\python\lib\py4j-0.10.9-src.zip;%PYTHONPATH%

2.把配置中spark.executor.processTreeMetrics 改成false

修改metrics.properties.template文件为metrics.properties

【BUG】Windows配置spark运行cmd时报错:WARN ProcfsMetricsGetter: Exception when trying to compute pagesize,...,在这里插入图片描述,第2张

在metrics.properties内添加:

spark.executor.processTreeMetrics.enabled=false

基本都是spark3.0及以上的版本才会出现,相当于屏蔽掉问题。

3.使用spark-3.0以前的版本

下载地址:https://archive.apache.org/dist/spark/

下载解压spark-2.4.8-bin-hadoop2.7.tgz,如果出现一样的问题就用以上方法解决。

网友评论

搜索
最新文章
热门文章
热门标签