彈性分布式數(shù)據(jù)集 (RDDs)

Spark 核心的概念是 Resilient Distributed Dataset (RDD)：一個可并行操作的有容錯機制的數(shù)據(jù)集合。有 2 種方式創(chuàng)建 RDDs：第一種是在你的驅(qū)動程序中并行化一個已經(jīng)存在的集合；另外一種是引用一個外部存儲系統(tǒng)的數(shù)據(jù)集，例如共享的文件系統(tǒng)，HDFS，HBase或其他 Hadoop 數(shù)據(jù)格式的數(shù)據(jù)源。

• 并行集合
• 外部數(shù)據(jù)集
• RDD 操作
• 傳遞函數(shù)到 Spark
• 使用鍵值對
• Transformations
• Actions
• RDD持久化