上海古都建筑设计集团,上海办公室装修设计公司,上海装修公司高质量的内容分享社区,上海装修公司我们不是内容生产者,我们只是上海办公室装修设计公司内容的搬运工平台

spark-submit 任务提交指定类名错误解决:Error: Failed to load class

guduadmin11天前

这是一篇新手笔记

在提交spark任务的时候,若 --class参数类名指定错误会让任务无法运行

那么如果不会看文件路径的话,如何精准找出自己打包的类名呢?

可以使用此条命令找到自己的类:

jar tf

spark-submit 任务提交指定类名错误解决:Error: Failed to load class,第1张

找到自己需要运行的任务,就可以直接使用spark-submit命令上传任务了

spark-submit 任务提交指定类名错误解决:Error: Failed to load class,第2张

spark-submit --master yarn --driver-memory 2G --driver-cores 2 --num-executors 2 --executor-memory 3g --executor-cores 4  --class spark.spark_hive1 /opt/demo2.jar

成功运行!

spark-submit 任务提交指定类名错误解决:Error: Failed to load class,第3张

网友评论

搜索
最新文章
热门文章
热门标签