标签 cloudera 下的文章

使用Cloudera搭建Hadoop开发环境


  由于Hadoop深受客户欢迎,许多公司都推出了各自版本的Hadoop,也有一些公司则围绕Hadoop开发产品。在Hadoop生态系统中,规模最大、知名度最高的公司则是Cloudera。   当然你也可以选择自己下载hadoop源码进行安装hadoop下载,最新版本已经到2.7,建议的安装环境是Ubuntu和CentOS,安装过程可以在网上找到很多参考,这里就不介绍了。   这里我使用Cloudera公司提供的虚拟机(VMware和VirtualBox版本都有),可以很便捷地搭建hadoop开发环境,毕竟我们的主要目的是学习hadoop,不应该把太多时间浪费在环境的配置上。cloudera-quickstart-vm的下载地址是下载链接。选择你需要的版本下载,我用的是VMware,压缩包大小有4G左右,解压后用VMware打开,将CPU改为4个,内存调为8G(你的本机内存不应该小于8G).运行后是一台配置好的CentOS虚拟机,可以很轻松地在上面开发运行Hadoop.