📊 BI & ML & DL & AI Yazı Serisi #3

1. Giriş

Modern veri analitiği ve iş zekâsı uygulamalarının temeli, doğru tasarlanmış bir veri ambarı ve etkili ETL (Extract, Transform, Load) süreçleridir. Önceki yazımızda Power BI, Tableau, SAP BO, SAP SAC, Qlik Sense ve Google Looker gibi BI platformlarını karşılaştırmıştık. Bu yazıda, bu platformların veri modellemelerini destekleyen veri ambarı tasarımına ve ETL süreçlerine odaklanacağız.

Amaç, veri modelleme ve iş zekâsı katmanlarının ötesine geçerek, verinin kaynağından analiz ortamına taşınması sürecinde en iyi uygulamaları anlamaktır.

2. Veri Ambarı Temelleri

Veri ambarı (Data Warehouse), işletme verilerini merkezi ve tutarlı bir şekilde depolayan bir yapıdır. İyi bir veri ambarı, BI araçlarının yüksek performansla çalışmasını sağlar ve veri kalitesini garanti eder.

Başlıca veri ambarı modelleri:

• Star Schema (Yıldız Şeması): Merkezi bir fact tablosu ve ilişkili dimension tablolarından oluşur. Basit yapısı ile sorgu performansını artırır.
• Snowflake Schema (Kar Tanesi Şeması): Dimension tabloları normalize edilmiştir. Depolama alanından tasarruf sağlar, ancak sorgu karmaşıklığı artabilir.
• Data Vault: Değişen veri kaynaklarına esnek entegrasyon ve tarihsel veri takibi için uygundur.

3. ETL Süreçleri

ETL, veriyi kaynağından alıp analiz için hazır hale getirme sürecidir:

1. Extract (Çıkarma): Veriler ERP, CRM, IoT cihazları veya dış veri kaynaklarından alınır.
2. Transform (Dönüştürme): Veriler temizlenir, standardize edilir ve iş kurallarına uygun hale getirilir.
3. Load (Yükleme): Dönüştürülmüş veriler veri ambarına veya veri gölüne yüklenir.

3.1 Platform Bazlı ETL Örnekleri

4. Performans ve Optimizasyon

• Kaynağa mümkün olduğunca yakın transformasyon yapın (push-down strategy)
• Büyük veri setlerinde incremental load (artımlı yükleme) kullanın
• Staging tabloları ile ara veri doğrulaması ve temizleme yapın
• Looker ve Power BI’da cache ve persistent tablolar ile performansı artırın

5. Veri Kalitesi ve Yönetimi

• Tutarlılık: Farklı kaynaklardan gelen verilerde çelişkilerin önlenmesi
• Bütünlük: Eksik veya hatalı kayıtların tespiti
• Zamanlılık: Verilerin analiz için güncel tutulması
• İzlenebilirlik (Lineage): Kaynak ve hedef arasındaki veri yolunun takip edilebilir olması

6. ETL ve BI Entegrasyonu

• Power BI / Tableau: Aggregation tabloları ve temiz veri setleri ile dashboard performansı artırılır
• SAP BO / SAC: HANA ve DS üzerinden optimize edilmiş veri setleri ile raporlama ve planlama hızlanır
• Qlik Sense: Script aşamasında ilişkiler doğru kurulmalı; associative engine performansı buna bağlıdır
• Looker: LookML modelleri için doğru normalize edilmiş ve cache edilmiş veri ambarı kritiktir

7. Diyagramlar ve Görsel Tasarım Rehberi

7.1 ETL Genel Süreç Akışı

• Kaynak sistemler: ERP (turuncu), CRM (mavi), Dosya/CSV (gri), SQL Server (yeşil)
• ETL katmanı: turuncu tonları
• Veri ambarı: merkezde büyük kutu, schema tipi notu
• BI araçları: Power BI (mavi), Tableau (yeşil), SAP BO/SAC (turuncu), Qlik Sense (mor), Looker (kırmızı)
• Ok yönleri veri akışını gösterir, platforma göre renklendirilebilir

7.2 Star ve Snowflake Schema

Star Schema:

Snowflake Schema:

7.3 Platform Bazlı ETL Akışı

Örnek: Power BI

Tableau

 SAP BO/DS

SAP SAC

Qlik Sense

Looker

7.4 Entegrasyon Genel Görünümü

[Power BI] [Tableau] [SAP BO/SAC] [Qlik Sense] [Looker]

• Veri ambarını merkezde büyük kutu
• ETL okları siyah, BI bağlantı okları platform rengine boyalı
• Semantic layer (Looker / SAP BO) için ayrı renkli katman

 Serinin Devamında :

·        Bu yazıda ETL süreçleri ve veri ambarı mimarisine giriş yaptık; hem platform bazlı örnekler hem de diyagram rehberiyle konuyu pekiştirdik. Serinin bir sonraki adımında, BI katmanından Machine Learning (ML) ve Deep Learning (DL) uygulamalarına geçiş yöntemlerini inceleyeceğiz. Burada, veri ambarı ve ETL süreçlerinden elde edilen temiz ve yapılandırılmış verilerin, tahmine dayalı modeller ve ileri analitik için nasıl kullanılabileceğini adım adım ele alacağız.