博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
CDH的hadoop与Spark套件组安装
阅读量:6269 次
发布时间:2019-06-22

本文共 1468 字,大约阅读时间需要 4 分钟。

1.解压JDBC并复制到cm目录中

tar -zxvf mysql-connector-java-5.1.43.tar.gz cp /opt/mysql-connector-java-5.1.43/mysql-connector-java-5.1.43-bin.jar /opt/cm-5.10.0/share/cmf/lib/

2.初始化CM5数据库

/opt/cm-5.10.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

3.配置server_host并复制

vim /opt/cm-5.10.0/etc/cloudera-scm-agent/config.ini

注意:里面的server_host一定要配成主机的名称,如server_host=spark001

scp -r /opt/cm-5.10.0 root@spark002:/opt/

4.添加新用户

注意是每个节点都要添加

useradd --system --home=/opt/cm-5.10.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

5.将CDH5的压缩包移动到/opt/cloudera/parcel-repo/

#移动文件命令mv CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel /opt/cloudera/parcel-repo/mv CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1 /opt/cloudera/parcel-repo/mv manifest.json /opt/cloudera/parcel-repo/#重命名成shamv CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1 CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha

6.启动主节点和从节点

1.主节点启动

#启动服务器/opt/cm-5.10.0/etc/init.d/cloudera-scm-server start#启动Agent服务/opt/cm-5.10.0/etc/init.d/cloudera-scm-agent start

2.启动其他节点

#启动Agent服务/opt/cm-5.10.0/etc/init.d/cloudera-scm-agent start

7.解决交换设置及透明大页面压缩问题

在每个节点上运行

echo 0 > /proc/sys/vm/swappinessecho never > /sys/kernel/mm/redhat_transparent_hugepage/defragecho never > /sys/kernel/mm/redhat_transparent_hugepage/enabledecho never > /sys/kernel/mm/transparent_hugepage/enabledecho never > /sys/kernel/mm/transparent_hugepage/defrag

转载地址:http://jyvpa.baihongyu.com/

你可能感兴趣的文章
TIJ -- 吐司BlockingQueue
查看>>
数据库分页查询
查看>>
[编程] C语言枚举类型(Enum)
查看>>
[Javascript] Compose multiple functions for new behavior in JavaScript
查看>>
ASP.NET MVC性能优化(实际项目中)
查看>>
ES6里关于类的拓展(一)
查看>>
零元学Expression Blend 4 - Chapter 46 三分钟快速充电-设定Margin的小撇步
查看>>
Format Conditions按条件显示表格记录
查看>>
RichTextBox指定全部文字显示不同颜色及部分文字高亮颜色显示
查看>>
mysql优化----explain的列分析
查看>>
Python正则表达式
查看>>
Java中CAS详解
查看>>
Spring Boot Unregistering JMX-exposed beans on shutdown
查看>>
命令行man的帮助手册
查看>>
Ubuntu 16.04下为Android编译OpenCV 3.2.0 Manager
查看>>
poi 导入导出的api说明(大全)
查看>>
Fix-Mapped Addresses
查看>>
fmt标签如何计算两个日期之间相隔的天数
查看>>
Spark核心技术原理透视一(Spark运行原理)
查看>>
《Gradle权威指南》--Gradle任务
查看>>