大数据技术之高频面试题

大数据技术之高频面试题
尚硅谷大数据技术之
高频面试题
(作者： 尚硅谷大数据研发部 )
版本：V8.0
尚硅谷大数据研发部
目录
第
1章 项目涉及技术 12
1.1 Linux&Shell 12
1.1.1 Linux常用高级命令 12
1.1.2 Shell常用工具及写过的脚本 13
1.1.3 Shell中提交了一个脚本，进程号已经不知道了，但是需要 kill掉这个进程，
怎么操作 ? 13
1.1.4 Shell中单引号和双引号区别 13
1.2 Hadoop 14
1.2.1 Hadoop常用端口号 14
1.2.2 Hadoop配置文件以及简单的 Hadoop集群搭建 14
1.2.3 HDFS读流程和写流程 14
1.2.4 HDFS小文件处理 15
1.2.5 Shuffle及优化 15
1.2.6 Yarn工作机制 18
1.2.7 Yarn调度器 18
1.2.8 项目经验之基准测试 19
1.2.9 Hadoop宕机 19
1.2.10 Hadoop解决数据倾斜方法 19
1.2.11 集群资源分配参数（项目中遇到的问题） 20
1.3 Zookeeper 20
1.3.1 选举机制 20
1.3.2 常用命令 20
1.3.3 Paxos算法（扩展） 20
1.3.4 讲一讲什么是 CAP法则？ Zookeeper符合了这个法则的哪两个？（扩展） 21
1.4 Flume 21
1.4.1 Flume组成， Put事务， Take事务 21