我在工作中涉及很多大数据相关工作。例如:Hadoop、Spark、Hive等数据清洗工作,大部分都是在生产环境。由于有误操作情况的发生,为防止误删操作,一般都是在本地搭建环境进行测试。所以将自己搭建环境的过程记录下来供大家参考。本次只记录VMware虚拟机安装过程、Linux虚拟机创建过程。系统安装单独记录。
5、“安装位置”可以根据自己的实际需求进行更改,默认“将VMware Workstation 控制台工具添加到系统PATH”为选中不用动,然后点击“下一步”。
6、根据自己习惯选择“启动时检查产品更新”与“帮助完善VMware Workstation Pro”复选框,然后单击“下一步”。(我一般不更新,担心新功能影响已安装好的虚拟机。毕竟我只用VMware虚拟一个环境,能用就行)
9、安装完成后会进入安装完成界面,输入软件激活序列号,单击“许可证”,否则在后续使用中也会要求输入。
10、输入秘钥后,点击“输入”后进入安装向导界面(如果临时用一下,跳过即可,会有30天的试用期)。
3、在“新建虚拟机想到”中有两种创建方式,我一般选择“典型(推荐)(I)”,然后点击“下一步”
4、在“安装客户机操作系统”中,我选择“稍后安装操作系统(S)”(因为安装系统过程漫长,有可能会中断),然后点击“下一步”进入选择客户机操作系统界面。
5、在“选择客户机操作系统”界面,《客户机操作系统》选择“Linux”,版本(V)选择“Ubuntu64位”也可以根据自己的实际需要进行更改。
6、 在《命名虚拟机》设置中,因为我后期要安装hadoop、Spark、Hive等组件,所以“虚拟机名称”我设置成“hadoop1”,我一般安装在D盘,大家可以自行设置。
7、在“指定磁盘容量”界面中,可以根据自己的需求进行更改,我一般默认。最大磁盘大小:20GB。选择“将虚拟磁盘拆分成多个文件(M)”。单击“下一步
9、点击“完成”后,就可以在VMware右侧,我的计算机中看到创建好的hadoop1虚拟机。
10、按照2~9步骤再创将hadoop2、hadoop3的Ubuntu虚拟机,为以后搭建hadoop集群做准备。网上说可以创建完一个虚拟机,配置好后可以克隆,我以前也是这么做的,三台虚拟机在启动最后一台虚拟机的时候,总是无法获取到IP,搞了半天未找到原因,所以直接创建三台,因为我的目的是搭建大数据环境,学习大数据而不是搞懂克隆虚拟机为什么无法分配IP。其实学习的过程明确目标很重要,有的时候遇到不重要的问题能绕过去就绕过去,毕竟经历有限。
2、在《虚拟机设置》界面,首先选择“CD/DVD(SATA)”,然后在右侧配置界面中, ”设备状态“选择“启动时连接”。”连接“选择“使用ISO映像文件(M)”同时通过浏览选择本地Ubuntu的ISO文件位置。然后点击确定。(这就相当于设定光驱或者U盘启动安装系统)
5、因为是作为服务器,不需要桌面环境,我装的Ubuntu无桌面版,系统语言为“English”,然后回车。
6、进入“Installer update available(安装程序更新可用)”设置界面,我选择不更新安装(Continue without updating),否则由于网络等原因安装速度回很慢,安装过程会很长。安装完成后再更新也不迟。
9、“Configure proxy(配置代理)” 配置默认为空,利用“Tab键”切换到“Done”后回车
14、“Profile setup(配置文件设置)” 根据自己喜好和需求设置,切换到“Done”回车
18、当出现“Cancel update and reboot”时,即可选择此选项进行重启,表示系统已安装完成,选择此选项后重启
对于已经工作很多年的大牛来说,上面的安装过程就显得太小儿科了。但是环境搭建对于初学者来说还是一个卡点,我们的精力应该放在hadoop、spark等学习上,而不是运维的工作。所以我把大数据中遇到的问题和过程都记录下来。以便后续查找借鉴。希望对和我一样的初学者有帮助。