77869288
CCA159 Data Analyst（数据分析师培训）
课程大纲
认证须知
开课计划
学习QQ群
常见问题
提升你的生态系统专业知识
培训内容
> Pig、Hive 和 Impala 针对数据采集、存储和分析而提供的功能。
> Pig、Hive 和 Impala 是如何提高典型分析任务的处理效率的。
> 执行实时、复杂的数据集查询。
本课程是专为数据分析师、商业智能专家、开发人员、系统架构师和 数据库管理员开发的。培训学员需具备一定的SQL 知识水平，且基本熟悉 Linux 命令行。培训学员至少熟悉一种脚本语言知识（例如，Bash 脚本编程、 Perl、Python 和 Ruby）将会更有帮助，但不是必需的。此外，培训学员不需具备Apache Hadoop 知识。
课程大纲
Pig 简介
> Pig 是什么？ > Pig 的特点。 > Pig 使用案例。 > 与Pig 的交互。
Pig 基本数据分析
> PigLatin 语法。 > 加载数据。 > 简单数据类型。 > 字段定义。 > 数据输出。 > 架构查看。 > 数据筛选和排序。 > 常用函数。
使用 Pig 处理复杂的数据
> 数据存储格式。 > 复合 /嵌套数据类型。 > 数据分组。 > 复杂数据内置函数。 > 遍历分组数据。
Pig 多数据集操作
> 数据集合并技术。 > 在Pig 中联接数据集。 > 集合运算。 > 拆分数据集。Pig 故障诊断和性能优化 > Pig 故障排除。 > 日志。> 使用 Hadoop 的Web UI。 > 数据采样及调试。 > 性能概述。 > 了解执行计划。 > 提高 Pig 作业性能的技巧
Hive 和 Impala 简介
> 什么是 Hive ？ > 什么是 Impala ？ > 架构和数据存储 > Hive 与传统数据库的比较。 > Hive 使用案例。
使用 Hive 和 Impala 进行数据查询
> 数据库和表。 > 基本的 Hive 和Impala 查询语言语法。 > 数据类型。 > Hive 和Impala 查询语法之间的差异。 > 使用 Hue 来执行查询。 > Impala Shell 的使用。
数据管理
> 数据存储。 > 创建数据库和表。 > 加载数据。 > 修改数据库和表。 > 使用视图简化查询。 > 存储查询结果。
数据存储和性能
> 对表进行分区。 > 选择文件格式。 > 管理元数据。 > 控制对数据的访问。使用 Hive 和 Impala 进行关系数据分析 > 联接数据集。 > 常见的内置函数。 > 聚合和窗口函数。
理解、扩展和改善 Impala
> Impala 是如何执行查询的。 > 使用用户定义的函数扩展 Impala。 > 改善 Impala 的性能。
使用Hive分析文本和复杂数据
> Hive 中的复杂数据。 > 在Hive 中使用正则表达式。 > 情感分析和 N-Grams。 > 结论。
Hive 优化
> 了解查询性能。 > 控制作业执行计划。 > Bucketing（分桶）。 > 索引数据。
扩展 Hive
> SerDes。 > 基于自定义脚本的数据转换。 > 用户定义函数。 > 参数化查询。
选择最佳工具
> 比较 MapReduce、Pig、Hive、Impala 和 关系数据库。 > 该选择哪一个？
