针对tachyon分布式启动后无法runTests的某种原因分析

一年过去了,戚老师搞了几台虚拟机来跑分布式。所以我又来搞环境了。上次部署的时候使用的是几台真机。但是由于现在使用的虚拟机,而且是高好了一台虚拟机后又复制了几份出来改了个ip就直接启动了。
所以出现了一些奇怪的问题。

  • 首先是执行sudo命令时,提示主机名未解析
  • 然后是tachyon分布式运行时报空指针错,而且master:19999500错误

linux下面密码执行sudo命令

在做分布式时,使用ssh控制集群节点,如果需要关机重启或者批量处理等行为时需要依次登陆进去然后执行命令,有时还要输入密码。集群少的时候还好,等节点多了的话几乎就是场灾难啊。身为程序员怎么可能使自己做这种重复性的工作呢,所以需要一个脚本来一键执行。

整合tachyon,hadoop和spark

整合tachyon,hadoop和spark

承接上述三篇文章,现在终于要整合了,在整合中还是出现了sparktachyon不匹配的问题,官方给出的匹配列表如下:

Spark Version Tachyon Version
1.0.x and Below v0.4.1
1.1.x v0.5.0
1.2.x v0.5.0
1.3.x v0.5.0
1.4.x v0.6.4
1.5.x v0.7.1

因为我用的是spark1.3.1所以又重新编译了tachyon0.5.0过程是一样的,接下来默认的tachyon版本就是
0.5.0了。而且也不用创建tachyon/conf下的core-site.xml文件了。

tachyon0.7.0分布式配置

自己编译tachyon0.7.0关联hadoop2.6.0

由于使用编译好的tachyon和自己的hadoop连接不上,总是出现下面这个问题:

org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4 at org.apache.hadoop.ipc.Client.call(Client.java:1070)

无奈只好自己编译了。

在这里还是承接一面两篇文章,拥有一个master一个slave.