优就业是中公教育IT培训品牌，致力于培养面向互联网领域的高端人才，以学员就业为目的，优质就业为宗旨，是一家集Java大数据、软件测试、Python人工智能、web前端、Linux云计算、网络安全与运维、UI设计、运营、影视特效、全链路网络营销等课程为一体的IT培训机构。

　　优就业大数据培训，课程内容紧跟互联网技术发展与企业实际用人需求，不断升级更新。学员以Java语言夯实基础，学习Hadoop生态体系、Spark生态体系，融入大数据智慧农业数仓、交通领域汽车流量监控项目、高铁智能检测系统等高端项目作为实训内容，对大数据知识融会贯通，成长为真正的大数据人才。

　　理论、实战双向并行，奠定入行扎实基础

　　阶段一：Java语言基础：Java语言入门、基本语法、面向对象、常用API、异常、集合、IO流、多线程、网络编程、反射、JDK新特性、MySQL数据库、JDBC

　　阶段二：Hadoop技术栈：Linux、Hadoop、ZooKeeper、Hive、HBase、海王星大数据金融平台

　　阶段三：Spark技术栈：Scala、Kafka、Spark、交通流量实时可视化大屏

　　阶段四：Flink流式处理框架：Flink、ClickHouse、畅游天涯旅游实时分析项目

　　阶段五：项目实战：EWR消费信用风险舆情系统、Monoceros物流大数据平台、物流Kubernetes+Docker项目迁移

　　就业指导：企业面试前期准备与技巧、专业指导、企业面试复盘

　　优就业一路暖心服务，不怕您货比三家

　　1、手把手教学，每一位学员的疑问随时解决，不拖延！

　　2、四分理论六分实战的合理教学，干货满满，课程实在，不闲扯！

　　3、真实项目Leader，行业经验、案例精髓，毫无保留倾囊相授！

　　4、真实项目实战，作品真正上线，学习的成果显而易见！

　　5、职业测评、简历修改、面试指导，企业推荐，打造个性化、差异化就业流程！

　　6、封闭教学包住宿，中公购书补助等各项福利，为你的学习做好服务！

　　大数据课程学习之Hadoop面试题集锦

　　随着大数据市场火爆，企业纷纷加大对于大数据工程师的招聘投入，相应的求职门槛也在增高。求职过程中，面试是企业HR检验求职者技能的重要手段，为此很多学习大数据课程的人会从理论知识方面下功夫，今天小编就给大家分享一下大数据课程学习中Hadoop相关的面试题及答案，希望能够对大家有所帮助。

　　一、简单描述如何安装配置apache的一个开源hadoop?

　　答：包括这些步骤：1)使用root账户登录;2)修改IP;3)修改host主机名;4)配置SSH免密码登录;5)关闭防火墙;6)安装JDK;7)解压hadoop安装包;8)配置hadoop的核心文件 hadoop-env.sh，core-site.xml, mapred-site.xml，hdfs-site.xml，配置hadoop环境变量;9)格式化 hadoop namenode-format;10)启动节点start-all.sh。

　　二、HDFS读写数据的过程

　　读：

　　1、跟namenode通信查询元数据，找到文件块所在的datanode服务器;

　　2、挑选一台datanode(就近原则，然后随机)服务器，请求建立socket流;

　　3、datanode开始发送数据(从磁盘里面读取数据放入流，以packet为单位来做校验);

　　4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件。

　　写：

　　1、根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在;

　　2、namenode返回是否可以上传;

　　3、client请求个 block该传输到哪些datanode服务器上;

　　4、namenode返回3个datanode服务器ABC;

　　5、client请求3台dn中的一台A上传数据(本质上是一个RPC调用，建立pipeline)，A收到请求会继续调用B，然后B调用C，将真个pipeline建立完成，逐级返回客户端;

　　6、client开始往A上传个block(先从磁盘读取数据放到一个本地内存缓存)，以packet为单位，A收到一个packet就会传给B，B传给C;A每传一个packet会放入一个应答队列等待应答;

　　7、当一个block传输完成之后，client再次请求namenode上传第二个block的服务器。

　　三、spark集群运算的模式

　　Spark 有很多种模式，较简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的。

　　四、简述hadoop怎样实现二级排序(就是对key和value双排序)

　　种方法是，Reducer将给定key的所有值都缓存起来，然后对它们再做一个Reducer内排序。但是，由于Reducer需要保存给定key的所有值，可能会导致出现内存耗尽的错误。

　　第二种方法是，将值的一部分或整个值加入原始key，生成一个组合key。这两种方法各有优势，种方法编写简单，但并发度小，数据量大的情况下速度慢(有内存耗尽的危险)，第二种方法则是将排序的任务交给MapReduce框架shuffle，更符合Hadoop/Reduce的设计思想。这篇文章里选择的是第二种。我们将编写一个Partitioner，确保拥有相同key(原始key，不包括添加的部分)的所有数据被发往同一个Reducer，还将编写一个Comparator，以便数据到达Reducer后即按原始key分组。

　　五、Hive内部表和外部表的区别

　　Hive向内部表导入数据时，会将数据移动到数据仓库指向的路径;若是外部表，数据的具体存放目录由用户建表时指定。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。

　　优就业大数据培训，课程内容紧跟互联网技术发展与企业实际用人需求，不断升级更新。学员以Java语言夯实基础，学习Hadoop生态体系、Spark生态体系，融入大数据智慧农业数仓、交通领域汽车流量监控项目、高铁智能检测系统等高端项目作为实训内容，对大数据知识融会贯通，成长为真正的大数据人才。

　　理论、实战双向并行，奠定入行扎实基础

　　阶段一：Java语言基础：Java语言入门、基本语法、面向对象、常用API、异常、集合、IO流、多线程、网络编程、反射、JDK新特性、MySQL数据库、JDBC

　　阶段二：Hadoop技术栈：Linux、Hadoop、ZooKeeper、Hive、HBase、海王星大数据金融平台

　　阶段三：Spark技术栈：Scala、Kafka、Spark、交通流量实时可视化大屏

　　阶段四：Flink流式处理框架：Flink、ClickHouse、畅游天涯旅游实时分析项目

　　阶段五：项目实战：EWR消费信用风险舆情系统、Monoceros物流大数据平台、物流Kubernetes+Docker项目迁移

　　就业指导：企业面试前期准备与技巧、专业指导、企业面试复盘

　　优就业一路暖心服务，不怕您货比三家

　　1、手把手教学，每一位学员的疑问随时解决，不拖延！

　　2、四分理论六分实战的合理教学，干货满满，课程实在，不闲扯！

　　3、真实项目Leader，行业经验、案例精髓，毫无保留倾囊相授！

　　4、真实项目实战，作品真正上线，学习的成果显而易见！

　　5、职业测评、简历修改、面试指导，企业推荐，打造个性化、差异化就业流程！

　　6、封闭教学包住宿，中公购书补助等各项福利，为你的学习做好服务！

　　大数据课程学习之Hadoop面试题集锦

　　随着大数据市场火爆，企业纷纷加大对于大数据工程师的招聘投入，相应的求职门槛也在增高。求职过程中，面试是企业HR检验求职者技能的重要手段，为此很多学习大数据课程的人会从理论知识方面下功夫，今天小编就给大家分享一下大数据课程学习中Hadoop相关的面试题及答案，希望能够对大家有所帮助。

　　一、简单描述如何安装配置apache的一个开源hadoop?

　　答：包括这些步骤：1)使用root账户登录;2)修改IP;3)修改host主机名;4)配置SSH免密码登录;5)关闭防火墙;6)安装JDK;7)解压hadoop安装包;8)配置hadoop的核心文件 hadoop-env.sh，core-site.xml, mapred-site.xml，hdfs-site.xml，配置hadoop环境变量;9)格式化 hadoop namenode-format;10)启动节点start-all.sh。

　　二、HDFS读写数据的过程

　　读：

　　1、跟namenode通信查询元数据，找到文件块所在的datanode服务器;

　　2、挑选一台datanode(就近原则，然后随机)服务器，请求建立socket流;

　　3、datanode开始发送数据(从磁盘里面读取数据放入流，以packet为单位来做校验);

　　4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件。

　　写：

　　1、根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在;

　　2、namenode返回是否可以上传;

　　3、client请求个 block该传输到哪些datanode服务器上;

　　4、namenode返回3个datanode服务器ABC;

　　5、client请求3台dn中的一台A上传数据(本质上是一个RPC调用，建立pipeline)，A收到请求会继续调用B，然后B调用C，将真个pipeline建立完成，逐级返回客户端;

　　6、client开始往A上传个block(先从磁盘读取数据放到一个本地内存缓存)，以packet为单位，A收到一个packet就会传给B，B传给C;A每传一个packet会放入一个应答队列等待应答;

　　7、当一个block传输完成之后，client再次请求namenode上传第二个block的服务器。

　　三、spark集群运算的模式

　　Spark 有很多种模式，较简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的。

　　四、简述hadoop怎样实现二级排序(就是对key和value双排序)

　　种方法是，Reducer将给定key的所有值都缓存起来，然后对它们再做一个Reducer内排序。但是，由于Reducer需要保存给定key的所有值，可能会导致出现内存耗尽的错误。

　　第二种方法是，将值的一部分或整个值加入原始key，生成一个组合key。这两种方法各有优势，种方法编写简单，但并发度小，数据量大的情况下速度慢(有内存耗尽的危险)，第二种方法则是将排序的任务交给MapReduce框架shuffle，更符合Hadoop/Reduce的设计思想。这篇文章里选择的是第二种。我们将编写一个Partitioner，确保拥有相同key(原始key，不包括添加的部分)的所有数据被发往同一个Reducer，还将编写一个Comparator，以便数据到达Reducer后即按原始key分组。

　　五、Hive内部表和外部表的区别

　　Hive向内部表导入数据时，会将数据移动到数据仓库指向的路径;若是外部表，数据的具体存放目录由用户建表时指定。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。