SORU
17 Aralık 2012, PAZARTESİ


Hadoop kullanmak, HBase, Hive ve Pig?

Ne de kullanmanın yararları vardırHadoopyaHBaseyaKovanı?

Benim anlayış,HBaseharita kullanma azaltmak ve HDFS üzerinde sütun odaklı bir depolama alanına sahip önler.Kovanısql benzeri bir arayüz içinHadoopveHBase.

Ayrıca nasıl bilmek istiyorumKovanıile karşılaştırırDomuz.

CEVAP
17 Aralık 2012, PAZARTESİ


MapReduce sadecebilgi işlem çerçeve. HBase ile bir ilgisi yok. Bu, verimli veya veri MapReduce işlerini yazarak HBase/koy alabileceğini söyledi. Alternatif olarak sıralı programlar diğer HBase API, Java gibi, veya veri koymak getirmeye kullanarak yazabilirsiniz. Ama bunun pek bir anlamı yok yani, HBase Hadoop etc veri büyük miktarda ile başa çıkmak için kullanıyoruz. Normal sıralı programları kullanarak verilerinizi çok büyük olduğunda son derece verimsiz olur.

Temel olarak 2 şey vardır Hadoop soru, ilk yarı bir geri geliyorDağıtılmış Dosya sistemi(HDFS)birHesaplama ya da İşlem çerçevesi(MapReduce). Diğer tüm FS gibi, HDFS de bize depolama, ama yüksek verimlilik ile hataya dayanıklı bir şekilde sağlar ve veri kaybı riski(çoğaltma) daha düşük. Ama, FS, HDFS yoksunrastgele okuma ve yazma accees. Bu HBase çıktığı yerdir. Birdağıtılmış, ölçülebilir, büyük veri deposuGoogle'ın BigTable sonra modellenmiş. Anahtar/değer çiftleri olarak veri depolar.

Kovan geliyor. Bize veri sağlıyorambarımevcut Hadoop küme üzerinde tesisler. Bununla birlikte bir sağlarSQL gibiSQL arka plan gelen eğer işinizi daha kolay bir hale getiriyor arayüzü. Kovan içinde tablo oluşturmak ve verileri saklayabilirsiniz. Bununla birlikte, hatta Kovanı mevcut HBase tabloları göster ve onlar üzerinde işlem yapabilirsiniz.

Süre Domuz temelde birveri akışı dilbu bize veri büyük miktarda çok kolay ve hızlı bir şekilde işlemesini sağlar.Domuz temelde 2 parça, Domuz vardırTercümanve diliPigLatin. PigLatin Domuz senaryo yaz ve Domuz tercüman kullanarak onları süreci. Domuz hayatımız çok daha kolay hale getirir, aksi takdirde MapReduce yazma her zaman kolay değildir. Bazı durumlarda aslında gerçekten bir ağrı olabilir.

Hadoop ekosistemi bir süre önce farklı araçlar kısa bir karşılaştırma ile ilgili bir makale yazmıştım. Eğer isterseniz 0 ** ziyaret edebilirsiniz. Derinlik karşılaştırıldığında, bir, ama başlangıç için yardımcı olabilir bu araçların her biri için kısa bir intro değil. (Benim cevabım. sadece eklemek Hiçbir kişisel tanıtım amaçlı)

**Kovan ve Domuz sorgular, her iki başlık altında MapReduce işleri dönüşüyor.

HTH

Bunu Paylaş:
  • Google+
  • E-Posta
Etiketler:

YORUMLAR

SPONSOR VİDEO

Rastgele Yazarlar

  • Gan Eden Productions

    Gan Eden Pro

    11 HAZİRAN 2011
  • Howard Pinsky

    Howard Pinsk

    6 AĞUSTOS 2006
  • Matt Stokes

    Matt Stokes

    22 Ocak 2008