MapReduce 非常成功，然而这些围绕无环图建立的系统大多不通用，这时候 Spark 横空出世，通过一种名叫 RDD 的分布式数据结构，提出了一种可以支持：

those that reuse a working set of data across multiple parallel operations.

的分布式计算框架。

RDD (Resilient Distributed Dataset) 是一种可以在丢失后通过 DAG 中前置节点被重建的只读数据结构。

Spark 通过 Scala 实现，Scala 的特性：

• 在 JVM 上实现的语言
• 支持 functional programming
• 面向对象

编程模型

RDD介绍

RDD 可以通过四种方式被创建

• 从文件系统中创建，例如 HDFS
• 从 Scala collection 中被创建
• 从一个已有的 RDD 变换而来，（通过 flatMap，map，filter 等）
• 通过更改一个已有 RDD 的持久化方式（RDD 是只读的，一旦有更改操作就会逻辑上新创建一个 RDD）

此外 RDD 是一种 lazy 并且 ephemeral 的数据结构，用户可以通过两种方式持久化 RDD：

• 通过 cache，cache 后的 RDD 依然是 lazy 的，但不是 ephemeral 的，意思是在第一次求值之后会被存起来等待复用
• 通过 save，写入到分布式文件系统中

用户需要在访问速度和存储空间两者中做 trade-off

并行操作