一年过去了,戚老师搞了几台虚拟机来跑分布式。所以我又来搞环境了。上次部署的时候使用的是几台真机。但是由于现在使用的虚拟机,而且是高好了一台虚拟机后又复制了几份出来改了个ip
就直接启动了。
所以出现了一些奇怪的问题。
- 首先是执行
sudo
命令时,提示主机名未解析 - 然后是
tachyon
分布式运行时报空指针错,而且master:19999
是500
错误
Don't fire the unknow
一年过去了,戚老师搞了几台虚拟机来跑分布式。所以我又来搞环境了。上次部署的时候使用的是几台真机。但是由于现在使用的虚拟机,而且是高好了一台虚拟机后又复制了几份出来改了个ip
就直接启动了。
所以出现了一些奇怪的问题。
sudo
命令时,提示主机名未解析tachyon
分布式运行时报空指针错,而且master:19999
是500
错误
本篇继承上篇,主要是把代码贴出来。
可视化的方式是将语法树按照dot
格式写入dot
文件,然后通过graphviz
工具包转换为png
。关于graphviz
可以直接去官网下载。三个平台的版本都有。
根据一个已知的逻辑算式例如(((¬p)∧q) → (p∧(q∨(¬r))))
,生成它的语法树。并通过图形化的方式来展示出来。
生成语法树的语言使用C++
,而图形化的方法通过graphviz
提供的dot
格式进行显示。
最近志哥让看《计算机程序设计艺术》中的组合数部分,目的是需要生成组合数。目前值看了一点点。虽然打了这么久的ACM
但是不得不感叹。妙啊~~~秒~~。
这里先贴出使用c++
写的L
算法和T
算法。
在做分布式时,使用ssh
控制集群节点,如果需要关机重启或者批量处理等行为时需要依次登陆进去然后执行命令,有时还要输入密码。集群少的时候还好,等节点多了的话几乎就是场灾难啊。身为程序员怎么可能使自己做这种重复性的工作呢,所以需要一个脚本来一键执行。
之前做好了可以在spark
中读取tachyon
的配置,但是使用rdd.persist(StorageLevel.OFF_HEAP)
就出错,经过不断的排错和寻找,终于解决了这个问题。并且也可以在java
中去设置了,之前设置一直出错。
最近入手了250G的SSD,所以愉快的将系统重装,重装之后要做的事情在之前都记录过了,只要安装步骤一步一步来就可以装好。但是,问题来了,我装好hexo
后,重启或注销之后,会提示commend not found
,真是*了dog
了。遇到问题先google
,结果没人遇到像我这么蠢的问题。只好自己解决了。
承接上述三篇文章,现在终于要整合了,在整合中还是出现了spark
与tachyon
不匹配的问题,官方给出的匹配列表如下:
Spark Version | Tachyon Version |
1.0.x and Below | v0.4.1 |
1.1.x | v0.5.0 |
1.2.x | v0.5.0 |
1.3.x | v0.5.0 |
1.4.x | v0.6.4 |
1.5.x | v0.7.1 |
因为我用的是spark1.3.1
所以又重新编译了tachyon0.5.0
过程是一样的,接下来默认的tachyon
版本就是0.5.0
了。而且也不用创建tachyon/conf
下的core-site.xml
文件了。
由于使用编译好的tachyon
和自己的hadoop连接不上,总是出现下面这个问题:
org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4 at org.apache.hadoop.ipc.Client.call(Client.java:1070)
无奈只好自己编译了。
在这里还是承接一面两篇文章,拥有一个master
一个slave
.