Apache Spark – 1 (Spark SQL w/ Jupyter)

Büyük veri setleri üzerinde performanslı analiz ve uygulamalar geliştirme imkanı sunan in-memory hesaplama yeteneğine sahip merkezi bir analitik işleme motorudur. Kendi sayfasındaki açıklaması da şöyledir; “Apache Spark™ is a unified analytics engine for large-scale data processing.”

Presto – 2 (w/ Postgre & Apache Superset)

Presto’yu cli arayüzünde değil daha yüksek seviyede giydirilmiş bir arayüzde kullanmak çalışma ve anlaşılırlık açısından oldukça değerli olacaktır. Bu noktada önceki yazıda da değindiğim BI araçlarından birini tercih ederek ilerlenebilir. Bu yazıda Apache Superset tercih edilerek ilerlenecektir.

Presto – 1 (Single Node)

Presto‘nun ne olduğunu anlamak için veri üzerinde sorgulama yapma sürecinin karanlık dehlizlerine (evet bu aralar fazla roman okuyorum 🙂 ) inilmesine gerek yok. Kısaca şu söylenebilir; bir veri tutma altyapısının üzerinde en az maliyetle sorgulama yapabilmemizi sağlayan query engine‘lerden biridir.

Kafka Quickstart (Confluent)

Verinin aktarımı ve büyük verilerin gerçek zamanlı işlenmesi için güzel yetenekler sunan Kafka ekosistemine girmenin vakti geldi. 🙂 Confluent firmasının farklı boyutlara taşıdığı Kafka ile; veri işleme, veri aktarma, sorgulama ve depolama gibi bir çok şey yapabilmekteyiz. İlk adımı atmak adına Confluent’in quickstart dökümanıyla başlayalım.

Oracle Case When Kullanımı

Temel yazılım kavramlarından olan if-else bloklarının Oracle/Pl-Sql’deki karşılığı case-when yapısıdır diyebiliriz. Oracle 9i’den itibaren kullanılmaya başlanmıştır. Görüntülenmesi bir veya birden çok şarta bağlanmış veriyi elde ederken daha kısa sorgular yazma kolaylığını sağlar.

Data/Tablo Silme ve HWM Kavramı

 Oracle da çeşitli tablo silme metotları mevcuttur. (Drop Table, Truncate Table ve Delete) Bu metotların ihtiyaç duyuldukları yere göre doğru kullanılmaları oldukça kritik bir öneme sahiptir.