相比直接操作 RDD,Spark DataFrame / Dataset API 的主要优势是?

大数据基础

  1. A.可以不经过 Shuffle 完成两表 join,因为数据已按 schema 自动共置到同一节点
  2. B.数据集中保存在 Driver 内存中按列存放,访问比 RDD 更快
  3. C.仅提供 Python 一种接口,更易上手
  4. D.带 schema,Catalyst 优化器可做谓词下推、列裁剪,通常比手写 RDD 快