朱诗雄Apache Spark / RxJava / RxScala

他的回答

请问如何理解Spark structured streaming中说到的event time?

Apache Spark / RxJava / RxScala
Event time通常是指数据产生的时间,用户要通过withWatermark方法来告诉Spark数据中哪一列是Event time。图中横坐标是Processing time,纵坐标是Event time。

程序如何提交任务到spark on yarn结构?

Apache Spark / RxJava / RxScala
Spark会直接从yarn的配置文件中读取yarn的resource manager的地址。