我在win10本地搭建了，spark-sparksubmit命令.cmd 测试，想测试下spark任务在win运行的情况怎么测试

来源：蜘蛛抓取(WebSpider) 时间：2021-05-28 03:42 标签： sparksubmit命令

注意：老老实实把安装路径变成沒有空格的！！！！！！

路径上包含空格的有以下2个解决办法：（但是在启动节点和关闭节点时会报错“C:\Program” 不是个命令）

用解压后的bin、etc目录覆盖hadoop的bin、etc目录（亲测这个工具适用于hadoop2.5和2.7，其他的尚且不知）

链接： 密码：qgez

下载地址：（2.12.6报错改为安装2.11.8）

链接： 密码：rdas

依赖添加成功後，新建scala 的object 文件然后填写如下代码：

运行成功后可以讲代码打包成jar 包发送到远端或者本地的spark 集群上运行。打包有以下步骤

然后如图所示進行如下操作 ,在弹出的对话框中点击按钮选择主类进行如下4步操作。

由于我们的jar包实在spark 上运行的故可以删除其他不需要的依赖包

此时進入终端，进入到spark安装包的 bin 目录下执行如下命令:

SparkPi：是启动类的名字，如果有包命要加包名，（例如 com.edu.SparkPi）

添加自己总结的部分下面为借鑒博客原文地址：

注意：老老实实把安装路径变成沒有空格的！！！！！！

路径上包含空格的有以下2个解决办法：（但是在启动节点和关闭节点时会报错“C:\Program” 不是个命令）

用解压后的bin、etc目录覆盖hadoop的bin、etc目录（亲测这个工具适用于hadoop2.5和2.7，其他的尚且不知）

链接： 密码：qgez

1.2.6 格式化命名节点

下载地址：（2.12.6报错改为安装2.11.8）

链接： 密码：rdas

依赖添加成功后，新建scala 的object 文件然后填写如下代码：

运行成功后可以讲代码打包成jar 包发送到远端或者本地的spark 集群上运行。打包有以下步驟

然后如图所示进行如下操作 ,在弹出的对话框中点击按钮选择主类进行如下4步操作。

由于我们的jar包实在spark 上运行的故可以删除其他不需偠的依赖包

此时进入终端，进入到spark安装包的 bin 目录下执行如下命令:

SparkPi：是启动类的名字，如果有包命要加包名，（例如 com.edu.SparkPi）

添加自己总结的蔀分下面为借鉴博客原文地址：

我要回帖

更多关于 sparksubmit命令 的文章

 

随机推荐