Hadoop开发实践与性能调优 |
Course Type Image

Hadoop开发实践与性能调优

课程概述

随着网络的迅速发展及深度普及,信息量增长速度极快,这些信息里又积累着大量的数据。预计到2020年,每年产生的数字信息将会有超过1/3的内容驻留在云平台中或借助云平台处理。我们需要对这些数据进行分析和处理,以获取更多有价值的信息。企事业单位如何高效地存储、管理和分析这些数据,这成了每个企事业单位不得不考虑的重要问题。如何快速提升单位内部技术员工的解决问题能力,已经成为了很多企业的必修课程。

听众范围

始对Hadoop感兴趣或已使用Hadoop,希望进行性能调优或架构优化

课程目标

可独立完成Hadoop的部署,运维,监控及故障处理。独立完成整体Hadoop从网络到软件层面的架构设计,Hadoop及周边生态的性能优化。

课程模块

  • Hadoop (180 分钟)
    模块概述

    传统大规模数据分析存在的问题 Hadoop概述 Hadoop与分布式文件系统 MapReduce的工作原理与机制 Hadoop集群剖析 Hadoop生态系统 Hadoop的行业应用案例分析 Hadoop在云计算和大数据的位置和关系

    模块大纲

    阿里集团技术平台,Hadoop在淘宝、支付宝的作用
    电商眼中的Hadoop和推荐系统。
    暴风数据平台:Hadoop对于产品优化的价值。
    Hadoop对于趣游、热酷等游戏公司的作用
    移动大云项目(big cloud)中的Hadoop
    联通使用Hadoop/Hbase解决3G详单查询问题。

  • Hadoop参数调优 (180 分钟)
    模块概述

    选择适合hadoop的硬件配置 Hadoop配置项优化 Hadoop配置优化 - core-site.xml Hadoop配置优化 - HDFS Hadoop配置优化 - hdfs-site.xml Hadoop配置优化 - mapred-site.xml Hadoop配置优化 - 机架感知 网络带宽参数调优 系统参数调优 配置文件管理 严格控制root权限 Java的GC模式 选择正确的JDK hadoop作业调优 Map side tuning设置 Map side设置 Linux操作系统优化 其他配置和参数调优 core-default.xml, hdfs-default.xml, mapred-default.xml。 mapred-site.xml mapred.tasktracker.map.tasks.maximum mapred.reduce.slowstart.completed.maps mapred.fairscheduler.preemption mapred.jobtracker.completeuserjobs.maximum mapred.jobtracker.update.faulty.tracker.interval mapred.jobtracker.max.blacklist.percent

    模块大纲

    Hadoop硬件优化
    不是所有的硬件都合适拿来直接使用
    安装调优的第一步服务器硬件的选型的窍门
    如何选择适合业务使用的CPU
    内存越大越好吗?设置合理的的内存配置
    连接网络的选择和优化
    高速硬盘的选择注意事项
    硬盘为什么不做raid?
    设置网络的注意事项
    中间结果压缩对磁盘和网络的优化
    机架感知,网络和磁盘IO优化作用,确定存储的具体位置,
    内存参数,map/reduce槽位数的计算方法。
    对磁盘和网络的优化
    Java工具使用,jstack使用
    Sun和open之间的区别,JIT编译器的使用
    inux系统参数调优
    Linux监控系统的使用
    cacti,
    ganglia
    常用的linux排错工具lsof,strace,iostat,vmstat,netstat...
    常见异常现象级处理方法
    网卡流量导致连接失败
    权限错误
    主机名IP转换错误
    NN与DN namespaceID不一致
    磁盘满导致报错
    Jave heap size OOM

课程评价

暂无课程评价.

      讲师简介

      avatar
      向磊

      前暴风影音Hadoop平台负责人,架构师,开源项目作者,Apache Hadoop相关项目代码提交者

      • 课程类别: 大数据
      • 培训周期: 4 天
      即将开课

      暂无开课记录.

      历史开课 (0次)

      暂无开课记录.

      • Weibo
      • WeChat