报错:WARN ProcfsMetricsGetter: Exception when trying to compute pagesize, as a result reporting of ProcessTree metrics is stopped
解决方法:
1.配置环境
spark的解压路径下
将其添加到环境变量:
%SPARK_HOME%\bin;%SPARK_HOME%\sbin;%SPARK_HOME%\python;%SPARK_HOME%\python\lib\py4j-0.10.9-src.zip;%PYTHONPATH%
2.把配置中spark.executor.processTreeMetrics 改成false
修改metrics.properties.template文件为metrics.properties
在metrics.properties内添加:
spark.executor.processTreeMetrics.enabled=false
基本都是spark3.0及以上的版本才会出现,相当于屏蔽掉问题。
3.使用spark-3.0以前的版本
下载地址:https://archive.apache.org/dist/spark/
下载解压spark-2.4.8-bin-hadoop2.7.tgz,如果出现一样的问题就用以上方法解决。
猜你喜欢
网友评论
- 搜索
- 最新文章
- 热门文章