最近一段时间在使用Spark Streaming，里面遇到很多问题，只知道参照官方文档写，不理解其中的原理，于是抽了一点时间研究了一下Spark Streaming作业提交的全过程，包括从外部数据源接收数据，分块，拆分Job，提交作业全过程。这里我只介绍从Kafka中接收数据为例进行讲解。我这里是基于对Spark 1.3.0的代码进行分析的，由于Spark代码在经常变动，不同版本的Spark代码可能不一样，所以阅读下面的代码请参照Spark 1.3.0的源码。

　　我们通过KafkaUtils.createStream函数可以创建KafkaReceiver类（这是默认的Kafka Receiver，如果spark.streaming.receiver.writeAheadLog.enable配置选项设置为true，则会使用ReliableKafkaReceiver，其中会使用WAL机制来保证数据的可靠性，也就是保证数据不丢失。）

　　在KafkaReceiver类中首先会在onStart方法中初始化一些环境，比如创建Consumer(这个就是用来从Kafka的Topic中读取消息的消费者)。在初始化完相关环境之后会在线程池中启动MessageHandler来从Kafka中接收数据：