Spark run start-all.sh using password-less ssh

Spark 提供了独立版本的(不依赖任何其他工具)的集群方式，我们可以通过 start-all.sh 来启动一个 Spark 集群：

./sbin/start-all.sh

当执行上面这个脚本时，交互窗口会有提示你输入每个 worker 的登录密码。这是因为 Spark 在启动远程机器上的 worker 时需要登录到该机器上。

Spark 文档的上的 Cluster Launch Scripts 章节上说到可以使用 password-less ssh 的方式登录远程 worker 主机。

设置 password-less ssh 的方式如下：

• 在 Master 上生成 ssh key

  ssh-keygen

• 将 public key 复制到远程 worker 上

  ssh-copy-id -i ~/.ssh/id_rsa.pub remote-worker

  或

  cat ~/.ssh/id_dsa.pub | ssh user@remote-worker 'cat >> ~/.ssh/authorized_keys'

• 登录远程 worker
  
ssh remote-worker


注意：因环境不同，你可能还需要更改远程 worker 上 .ssh 文件目录和 authorized_keys 的权限，像下面这样：

chmod 755 ~/.ssh
chmod 644 ~/.ssh/authorized_keys