如何在linux下搭建hadoop集群环境小残sblog
1、安装hadoop 1 因为hadoop是基于java的，所以要保证hadoop能找到在本地系统中大路径，即正确设置java的环境变量。
2、在Linux上安装Hadoop之前，需要先安装两个程序： JDK 6或更高版本； SSH(安全外壳协议)，推荐安装OpenSSH。 下面简述一下安装这两个程序的原因： Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。
3、http：//labs.xiaonei.com/apache-mirror/hadoop/ 硬件环境 共有3台机器，均使用的CentOS，Java使用的是jdk0。
4、打开Linux终端，输入以下命令来创建一个用户。su password：useradd hadoop passwd hadoop New passwd：Retype new passwd SSH设置和密钥生成 SSH设置需要在集群上做不同的操作，如启动，停止，分布式守护shell操作。
5、通过winSCP将文件上传到linux中。将文件放到/usr/lib/java中，四个linux都要操作。
如何为linux集群批量装机
1、第一步：首先需‘新建一台虚拟机’，其次‘安装完成相关程序’，最后‘关机’。第二步：鼠标‘右击’已关闭的虚拟机，选择“模板”-“转换为模板”，完成。
2、方法/步骤 先安装win7系统，安装过程不再详述，要注意的是给安装linux预留足够的磁盘空间 找到Linux的镜像，运行加载， 加载linux安装盘，进行安装。 之后进入该界面，选择第二个“ship” 跳过。
3、我之所以反复提到PE启动之后再插上移动硬盘，是因为在PE启动完成前插上的移动硬盘会被认为是USB1接口的设备，而PE启动完成后插上的移动硬盘才会被识别成USB0，速度的差别相信你肯定清楚了。
4、如果是做mysql的集群，可以使用mycat中间件做读写分离，也可以使用MHA，来实现MySQL的集群。如果要是做web项目的话，则可以使用LVS+Keepalived来实现。也可以使用Nginx做反向代理。
5、并行技术 这是一个非常简单的建造四节点的小集群系统的例子，它是构建在Linux操作系统上，通过MPICH软件包实现的，希望这个小例子能让大家对集群系统的构建有一个最基本的了解。
6、如果这两种方式都没有配置，那么linux会给你配置一个万能的主机名，即localhost.localdomain 剩下的几个就不用配置了，默认留空。单击“Next”设定时区，选择我们所处的时区Asia/Shanghai。单击“Next”.设定ROOT账号信息。
如何分分钟创建Linux虚拟集群
1、使用剩下的1根RJ45线将额外的以太网卡(用于与其它网络相连的那块，这样机构就可以用上集群)连接到机构的局域网上(假定你的机构局域网也是快速以太网)，然后打开电源。
2、如果是做mysql的集群，可以使用mycat中间件做读写分离，也可以使用MHA，来实现MySQL的集群。如果要是做web项目的话，则可以使用LVS+Keepalived来实现。也可以使用Nginx做反向代理。
3、打开VMware，新建一个虚拟机。选择“典型（推荐）（T）”，点“下一步”。选择“稍后安装操作系统”，点“下一步”。选择Linux系统版本，点“下一步”。
4、集群技术的发展趋势 集群技术随着服务器硬件系统与网络操作系统的发展将会在可用性、高可靠性、系统冗余等方面逐步提高。未来的集群可以依靠集群文件系统实现对系统中的所有文件、设备和网络资源的全局访问，并且生成一个完整的系统映像。
5、修改SYN设置抵御SYN攻击： SYN攻击是利用TCP/IP协议3次握手的原理，发送大量的建立连接的网络包，但不实际建立连接，最终导致被攻击服务器的网络队列被占满，无法被正常用户访问。
Linux中使用ipvsadm配置LVS集群的基本方法
1、而需要使用ipvs的管理工具ipvsadm进行管理，ipvs的管理工具ipvsadm管理ipvs。 LVS技术点小结： 1)真正实现负载均衡的工具是ipvs，工作在linux内核层面。 2)LVS自带的ipvs管理工具是ipvsadm。 3)keepalived实现管理ipvs及对负载均衡器的高可用。
2、真正实现调度的工具是IPVS，工作在linux内核层面。LVS自带的IPVS管理工具是ipvsadm。keepalived实现管理IPVS及负载均衡器的高可用。Red hat工具Piranha WEB管理实现调度的工具IPVS。
3、经测试，此时VIP 0.0.100漂在 lvs1上，当lvs1挂了后，VIP会漂到 lvs2 上，并发送邮件通知 lvs2 成为主节点。
