Apache Spark – 2 (Spark SQL w/ Databricks)

Veri özelinde kullanılan pek çok ürün gibi Apache Spark‘ında cloud hizmet sağlayıcıları tarafından sunulan servisleri mevcuttur. Son zamanlarda adı sıkça duyulan Databricks veri tarafında Spark’ında içinde bulunduğu bir dizi hizmeti cloud hizmeti olarak sunmaktadır.

Apache Spark – 1 (Spark SQL w/ Jupyter)

Büyük veri setleri üzerinde performanslı analiz ve uygulamalar geliştirme imkanı sunan in-memory hesaplama yeteneğine sahip merkezi bir analitik işleme motorudur. Kendi sayfasındaki açıklaması da şöyledir; “Apache Spark™ is a unified analytics engine for large-scale data processing.”

HDFS – Hadoop Distributed File System

Big Data dünyasına Cloudera kurulumunu gerçekleştirerek giriş yapmıştık. İlk adım olarak üzerinde çalışacağımız dataların bulunduğu alan olan HDFS(Hadoop Distributed File System) konusuna değinip bazı örneklerle ne olduğunu açıklamaya çalışacağım.