朱诗雄Apache Spark / RxJava / RxScala

他的回答

spark的MEMORY_AND_DISK用途?

Apache Spark / RxJava / RxScala
这个需要你自己调整配置了。Spark只能控制cache占用的内存,应用程序自己用的内存不受Spark的控制。从你的描述来看,可能是应用程序使用的内存比较多。你可以考虑把spark.memory.fraction调小一点,让Spark可以更早把cache写到磁盘上,及时释放内存,减少GC时间。

spark streaming 运行时出现连续报异常?

Apache Spark / RxJava / RxScala