Yerel yüksek performanslı veri çalışmaları için yerel lakehouse SQL motoru
DeltaForge Platform, bir makinede Delta Lake ve Apache Iceberg dosyalarını okuyan ve yazan yerel bir SQL motoru çalıştırır ve dizüstü bilgisayarda bir lakehouse deneyimi sunar. DeltaForge, DeltaForge'dan Windows odaklı bir yardımcı program aracıdır ve SQL sorgulama, grafik analitiği, coğrafi indeksleme ve soy ağacını tek bir süreçte birleştirir. Veri mühendisleri ve veri egemenliği ile daha düşük operasyonel maliyetlere ihtiyaç duyan analistleri hedef alır, özellikle tam kümeleri veya JVM tabanlı çalışma zamanlarını çalıştırmanın pratik olmadığı ortamlarda.Platformanın ne yaptığı ve nasıl küme yığınlarını değiştirdiği
Platform, Delta Lake ve Apache Iceberg formatları için yerel bir SQL motoru uygular, Spark bağımlılıklarını ve JVM çalışma zamanlarını ortadan kaldırır. SQL işlemlerini, örneğin MERGE, zaman yolculuğu ve silme vektörlerini doğrudan yerel depolama üzerinde gerçekleştirir ve aynı süreçte grafik algoritmaları ve H3 coğrafi işlevler sunar. Bu tasarım, sorgu, grafik ve coğrafi iş yüklerini tek bir Windows ana bilgisayarında çalışan bir yürütülebilir dosyada birleştirerek çoklu hizmet göl evi dağıtımlarını değiştirir.
Yerel çalışmalarda sistem kaynaklarını nasıl etkilediği
Spark ve JVM'den kaçınarak, platform, küme tabanlı yığınlarla ilişkili bellek ve hesaplama yükünü azaltır, bu da sözde küme vergisini düşürür. Yerel işlem modeli, masaüstü, özel bulutlar veya veri merkezlerinde tek örnek veya kendi kendine barındırılan dağıtımlar için tasarlanmıştır. Bu mimari, kaynak kullanımını ana bilgisayar donanımına bağımlı hale getirir, bu nedenle performans, uzak küme kapasitesi yerine yerel CPU, disk I/O ve mevcut RAM ile ölçeklenir.
Güvenlik, veri doğruluğu ve doğrulama mekanizmaları
Veri doğruluğu, Apache Spark sonuçlarına karşı iki yönlü uyum kontrolleri gerçekleştiren bağımsız bir doğrulama katmanı ile ele alınır ve aritmetik eşleşme doğrulaması sağlar. Platform ayrıca, SQL dosyalarından doğrudan yerleşik veri kökeni türetir, böylece dönüşümler, onları üreten SQL'e geri izlenebilir. Bu davranışlar, köken ve deterministik sonuçların önemli olduğu ortamlar için denetlenebilirlik sağlar.
Operasyonel karmaşıklık ve kimin bunu çalıştırabileceği
Platform, Windows'ta winget, Chocolatey veya bir MSI aracılığıyla kurulur ve ayrıca bir Docker konteyneri olarak ve Azure pazar yeri görüntüsü aracılığıyla mevcuttur. Bu dağıtım seçenekleri yelpazesi, hem yerel masaüstü kullanımını hem de kendi kendine barındırılan kurumsal kurulumları destekler. Araç, mühendisler ve analistlere yöneliktir; birden fazla iş yükünü tek bir süreçte birleştirmesi, dağıtık sistem yönetimini azaltır, ancak kullanıcıların öngörülebilir sonuçlar elde etmek için depolama formatları ve ana bilgisayar kaynak planlaması konusunda deneyime sahip olmaları gerekir.
Kendi barındırılan bir lakehouse'a ihtiyaç duyan mühendisler için pratik öneri
DeltaForge Platform, Delta ve Iceberg verileri üzerinde yerel kontrol gerektiren ve kümeleri yönetmekten kaçınmak isteyen ekipler için uygundur. Performansınızın makinenize bağlı olmasını bekleyin: üretime geçmeden önce temsilci donanımda büyük iş yüklerini test edin. Tavsiye edilir. Ayrı bir test veri seti kullanın ve kritik boru hatlarını platforma geçirmeden önce bir Spark temel alınarak doğrulama kontrollerini gerçekleştirin.
