可以處理外部數據
Spark SQL開放了一系列接入外部數據源的接口,來讓開發者可以實現Spark SQL可以加載任何地方的數據,例如mysql,hive,hdfs,hbase等,而且支持很多種格式如json, parquet, avro, csv格式…
Spark SQL的DataFrame接口支持多種數據源的操作。一個DataFrame可以進行RDDs方式的操作,也可以被註冊為臨時表。把DataFrame註冊為臨時表之後,就可以對該DataFrame執行SQL查詢。
可以處理外部數據
Spark SQL開放了一系列接入外部數據源的接口,來讓開發者可以實現Spark SQL可以加載任何地方的數據,例如mysql,hive,hdfs,hbase等,而且支持很多種格式如json, parquet, avro, csv格式…
Spark SQL的DataFrame接口支持多種數據源的操作。一個DataFrame可以進行RDDs方式的操作,也可以被註冊為臨時表。把DataFrame註冊為臨時表之後,就可以對該DataFrame執行SQL查詢。