Ingest Modülü

Ingest modülü ile oracle,mssql,Sybase.. gibi farklı kaynaklardaki veriler sistemin lokal veritabanı olan Clickhouse veritabanına aktarılmaktadır. Böylece farklı kaynaklardaki veriler birleştirilebilir hale gelmiş olup Clickhouse’un güçlü performansıyla yüksek hacimli verilerde oldukça hızlı bir şekilde analiz yapma imkanı sağlamaktadır. Sistem şu anda aşağıdaki 4 tip veri kaynağında aktarım yapabilmektedir

• Sybase ASE
• Sybase IQ
• MsSql
• Oracle

Ingest kaydı oluşturabilmek için ilgili kullanıcıya DataFlowEditor yetkisi tanımlanmış olmalıdır. Bu yetkinin olduğu kullanıcılarda ana sayfada aşağıda görüldüğü üzere “Veri Akışı” Modülü aktif hale gelmiş olacaktır.

Veri Akış modülüne giriş yapıldığında aşağıdaki ekran gelmektedir. Ekranın sol tarafındaki araçlar kısmında akış oluşturmak için gerekli öğeler yer almaktadır. Sağ tarafta ise grid’e tıklandığında akışın bilgilerini gösteren menü, veritabanı öğesi üzerine tıklandığında bağlantı bilgilerini gösteren menü ve veriseti öğesi üzerine tıklandığında tanımlanan işin bilgilerini gösteren menü çıkmaktadır.

Araçlar Menüsü Detayları

Yukarıdaki görselin solunda yer alan araçlar(toolbox) menüsünde veritabanı ve veriseti olmak üzere 2 öğe mevcuttur.

Veritabanı öğesi : Verinin aktarılacağı bağlantının seçildiği kısımdır. Şu anda desteklenen connection tipleri yukarıda belirtilmiştir.

Veriseti öğesi: Seçilen veritabanından lokal veritabanına bağlantı sağlamaktadır. Veri aktarımında kullanılacak sorgunun tanımlaması burada yapılmaktadır. Ayrıca Veriseti öğesi üzerine tıklandığında akışın tanımlanması için zorunlu alanların yer aldığı menu sağda tarafta çıkmaktadır. Bu menüye dair detaylar aşağıda anlatılacaktır.

Bir Akış Nasıl Oluşturulur?

1. Öncelikle akışın oluşturulacağı gridin boş bir kısmına tıklandığında sağ tarafta akışın özelliklerinin listelendiği menu (Data Flow Properties) açılmaktadır. Burada akış ismi girilmesi zorunludur ve aynı isimde birden çok akış kaydedilemez.

2. Adım olarak araçlar menüsünden aktarımın yapılacağı veri tabanı öğesi sayfaya sürükleyerek bırakılır. Bağlantı öğesinin üzerine tıklandığında sağda çıkan bağlantı özellikleri menüsü açılmaktadır. Bu menüden bağlantı seçim kutucuğu tıklandığında ilgili kullanıcının yetkili olduğu tüm bağlantıların listelendiği aşağıdaki ekran gelmektedir. Listeden verinin aktarılacağı veritabanı tipi seçilir.

3. Seçilen veritabanı üzerinde çalışacak sorgunun bilgilerinin girilmesi için araçlar kısmından veriseti öğesi ekrana sürüklenir. Aşağıda ekran görüntüsü yer almaktadır. Veriseti kartı içerisinde sarı ile belirtilmiş ilk ikon tüm işlemler bittiğinde akışın çalışmasını sağlamaktadır. 2. Ikon sorgunun önizlemesinin yapılmasını sağlamaktadır. 3. Ikon sorgunun yazıldığı ekranı açmaktadır. 4. Ikon ise silme işleminin yapılmasını sağlayan menüyü açmaktadır.

4. Bir önceki maddede belirtildiği üzere veriseti kartının üzerindeki kalem ikonuna tıklandığında sorgunun yazılacağı aşağıdaki ekran açılır. Burada yazılan sorgunun önizlemesi yapılır. Ardından kaydedilir. Sağdaki kısımdan herhangi bir veri girişi veya seçimi yapılmaz.

5. Veritabanı öğesinin sağ alt köşesine tıklandığında, veritabanı ile veriseti öğesi ile bağlantıyı sağlamak için ok çıkmaktadır. Bu ok veriseti öğesi üzerine sürüklenip bırakıldığında aradaki bağlantı sağlanmış olur.

6. Akışı tamamlamak için veriseti öğesinin zorunlu bilgileri girilmesi gereklidir. Bunun için veriseti öğesinin üzerine tıklandığında akış içerisinde oluşturulan işin özellikleri listelenmektedir. Bu özelliklerin bir kısmının kaydedilmesi zorunludur. Buradaki özelliklerin detayları şu şekildedir:

Genel Alanı Detayları:

• Name: Akışın ismini ifade eder. Aynı isimde birden fazla akış olamaz. Zorunlu alandır.
• Description: Akış ile ilgili detay bilgi ihtiyacı olduğunda kullanım içindir.
• Source Connection: Seçilen bağlantı tipi otomatik olarak gelmektedir. Seçim yapılmaz.
• Target Dataset: Verinin Clickhouse tarafında yazılacağı tablonun adını ifade etmektedir. Aynı isimde birden fazla tablo oluşturulamaz. Zorunlu alandır.

Data Refresh Alanı Detayları:

• Update Mode: Akış her çalıştığında veri güncelleme işleminin nasıl olacağı bilgisini ifade etmektedir. Incremental ve Overwrite olmak üzere 2 farklı opsiyonu mevcuttur. Incremental seçildiğinde, veriler unique identifier alanındaki değişime göre artmaktadır. Overwrite seçildiğinde ise akış çalıştığında tüm veriler silinip tekrar yüklenmektedir. Zorunlu alandır. Oluşturulan bir akışta bu alan güncellenirse tablo silinip tekrar oluşturulur.
• Unique Identifier: Update mode incremental seçildiğinde, veritabanına tablodaki tekil alana göre ekleme yapılmaktadır. Bu tekil alanın seçimi unique identifiers kısmında yapılmaktadır. Eğer update mode overwrite seçilirse burada herhangi bir alan seçilebilir. Zorunlu alandır. Oluşturulan bir akışta bu alan güncellenirse tablo silinip tekrar oluşturulur.

Optimization Alanı Detayları:

• Index Fields: Clickhouse veritabanına yüklenen verinin hangi kolona göre indeksleneceğini belirtmektedir. Zorunlu alan değildir. Oluşturulan bir akışta bu alan güncellenirse tablo silinip tekrar oluşturulur.
• Partition Fields: Clickhouse veritabanına yüklenen verinin hangi kolona göre bölümleneceğini belirtmektedir. Zorunlu alan değildir. Oluşturulan bir akışta bu alan güncellenirse tablo silinip tekrar oluşturulur.

Schedule Alanı Detayları:

• Akış belli periyotlarda otomatik olarak çalışması gerekiyorsa zamanlama adımı kullanılabilir.
• Takvim Ekle butonuna basıldığında aşağıdaki pop-up açılmaktadır. Genel tabında isim ve ne zamandan ne zamana kadar aktif olacağının bilgilerinin girilmesi zorunludur.

• “Ne Zaman” tabında ise ihtiyaca göre akışın nasıl bir periyotla çalışacağı belirlenmektedir. Günlük, aylık ve gün-içi çalışma opsiyonları mevcuttur. Burasının çalışma detayları için takvime bağlı mail gönderimi bölümüne bakılabilir.

• Seçimler yapıldıktan sonra tamam butonuna basılır. Çalışması için ilgili akış kayıt edilmesi gereklidir.

Çalışma Geçmişi Alanı Detayları :

• Manuel veya schedule kurarak çalışmış olan bir akışın ne zaman çalıştığına, çalışma statüsüne ve tamamlanan kayıt sayısına ilişkin özet bilgileri göstermektedir. Çalışma geçmişindeki yenileme butonuna basılarak çalışma durumu takip edilebilir. Aşağıda örnek görsel yer almaktadır.

7. Tüm gerekli alanlar girildikten sonra akış kaydedilir. Eğer zamanlama tanımlanmadıysa veriseti üzerindeki butona tıklanarak manuel çalışması sağlanabilir. Eğer zamanlama tanımlanıp kaydedildiyse tanımlanan zaman diliminde akış otomatik olarak çalışıyor olacaktır. Yukarıda da belirtildiği gibi süreç çalışma geçmişi sekmesinden takip edilir.