面试题

面试是通往各大企业的必经之路，尤其是对于程序员面试，这种技术人员的面试，比一般的面试还要复杂，是要经历好几轮的。大数据工程师的面试也不例外，首先一轮便是面试，主要考察的是自己掌握的技术知识，所以优就业小编给大家整理了一些常见的大数据面试题。

1、了解zookeeper吗?介绍一下它，它的选举机制和集群的搭建。

2、spark streming在实时处理时会发生什么故障，如何停止，解决。

3、RDD中reduceBykey与groupByKey哪个性能好，为什么。

4、Hbase 内部结构和hbase 表里面怎么对应的。

5、讲述一下mapreduce的流程。

6、kafka集群的规模，消费速度是多少。

7、给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中?

8、给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?

9、寻找热门查询：搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节 假设目前有一千万个记录(这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门)，请你统计最热门的10个查询串，要求使用的内存不能超过1G。

10、首先集群的目的是为了节省成本，用廉价的pc机，取代小型机及大型机。小型机和大型机有什么特点?

相关推荐：

【大数据面试题】10道常见的大数据面试题(二)

【大数据培训教程】把握时代风口，做大数据架构师