En iyi veri satırları milyarlarca deposu

SORU

8 Mayıs 2010, CUMARTESİ

En iyi veri satırları milyarlarca deposu

Kayıtlar (bir yıl~3 milyar/ay) milyarlarca küçük veri bitleri (yaklaşık 50-75 bayt) depolamak mümkün olmak istiyorum.

Tek şart aynı GUID ile tüm kayıtları ve veri deposuna erişim yeteneği için hızlı ekler ve hızlı arama .net.

SQL server bir adamım ve SQL Server benceolabilirbunu yap, ama tüm konuşma hakkında BigTable, CouchDB ve diğer nosql çözümleri, sondaj daha fazla ve daha fazla alternatif için geleneksel RDBS olabilir en iyi nedeniyle optimizasyon için dağıtılmış sorgular ve ölçekleme. Cassandra ve denedim .net kütüphaneleri şu anda derleme sakındeğişebilir(kendisini cassandra ile birlikte).

Birçok nosql veri depoları mevcut olup olmadığını araştırdım, fakat üretime hazır bir platform sağlam olarak ihtiyaçlarımı karşılayan bir iş bulamıyorum.

Eğer erişilebilir. yani 36 milyar Küçük, Düz kayıtları saklamak için olsaydı .ve neden seçsin ne net?

CEVAP

8 Mayıs 2010, CUMARTESİ

Veri ~3.5 TB depolama ve 1 K/sn 24 saat 7 gün, ve bir oran belirtilmemiş, aynı zamanda, sorgulama, SQL Server ile mümkündür, ama daha fazla soru var hakkında ekleme:

ne durumu gereği bu mu? 99.999% uptime, veya � yeterli mi?
ne var? Eksik bir Ekle sana 1 milyon dolar maliyeti nedir?
ne var? Seni bir gün veri gevşek olursa, fark eder mi?
ne var? Bir garanti verilmesi gerektiği ileri okuma görünür olmak için yazmak mı?

Eğer ihtiyacınız olan tüm bu gereksinimleri altını çizdiğim, yük teklif mi mal olacak milyonlarca donanım ve lisans hakkında bir ilişkisel sistemi, herhangi bir sistem, ne olursa olsun hile deneyin (sharding, bölümleme vb). Nosql bir sistem, kendi tanımı gereği, yerine olmaztümbu gereksinimler.

Yani açıkçası zaten bu şartları biraz gevşemiş. Güzel bir görsel kılavuzu nosql teklifleri '3 2' Visual Guide to NoSQL Systems paradigma: . pick dayalı bir karşılaştırma var

nosql comparisson

Yorum güncelleme OP sonra

SQL Server ile bu e ileri uygulama düz:

tek bir tablo kümelenmiş (zaman GUID) anahtar. Evet, fragmented, olacak, ama okuma-aheads parçalanma etkiler ve aheads okumak önemli mesafe sensörleri için gereklidir. Sadece belirli bir GUID ve tarih aralığı için sorgu yana, parçalanma çok önemli değil. Evet, geniş bir anahtar, yaprak olmayan sayfaları zavallı anahtar yoğunluğu olacak. Evet, zavallı dolgu etmeni sağlayacaktır. Ve evet, sayfa oluşabilir böler. Şartları verilen bu sorunlara rağmen, hala en iyi kümelenmiş anahtar seçimdir.
süresi dolan kayıtların verimli silme, automatic sliding window) uygulamak için zaman tablosu bölümü. Fakirler ortadan kaldırmak için geçen ay yeniden faktör ve parçalanma doldurun çevrimiçi dizin bölümü GUID küme tarafından sunulan bu artırmak.
sayfa sıkıştırma etkinleştirin. GUID ilk tarafından kümelenmiş anahtar grupları, mümkün olmadığından, tüm kayıtları yanyana, page compression sözlük sıkıştırma dağıtmak için iyi bir şans olacak.
günlük dosyası IO için hızlı bir yol gerekir. Bir günlük 1K ekler/sn yetişmek için yüksek verimlilik, düşük gecikme değil ilgileniyorsanız, stripping olmalı.

Bölümleme ve sayfa sıkıştırma SQL Server Enterprise Edition gerektirir, Standart Sürüm üzerinde çalışmaz ve hem de ihtiyaçlarını karşılamak için oldukça önemlidir.

Bir yan Not, Eğer kayıtları bir ön uç Web sunucuları çiftlik yapardım koymak Express her web sunucusu ve yerine YERLEŞTİRİN arka uç, istiyorum SEND bilgi için arka uç kullanarak bir yerel bağlantı/hareket Express işbirliği bulunan web server. Bu çözüm için çok çok daha iyi bir kullanılabilirlik bir hikaye verir.

Bu SQL Server, bunu nasıl yapacağını. İyi haber karşısında olacak sorunları anlamasını ve çözümler denir. mutlaka bu Cassandra, BigTable veya Dinamo ile elde olandan daha iyi olduğu anlamına gelmez. Biri no-sql-ish için bağımsız kendi halinde işler daha knowleageable izin vereceğim.

Hiç programlama modeli söz, unutmayın .Net destek gibi. Gerçekten büyük dağıtımları gereksiz olduğunu düşünüyorum. Geliştirme sürecinde büyük bir fark, ama bir kez dağıtılan eğer ORM yükü performans öldürürse gelişiminde ne kadar önemli değil:) yapıyorlar

Bunu Paylaş: