MapReduce güç gösterilmesinde kullanılan en önemli örneklerinden biri Terasort benchmark. Sorun sıralama algoritması MapReduce ortamında kullanılan temel anlamakta güçlük çekiyorum.

Benim için sıralama sadece tüm diğer öğelerle ilişki içinde bir öğenin göreli konumunu belirlemek için kullanılır. Sıralama karşılaştırarak yani "her şey" "her şey". Ortalama sıralama algoritması (quick, kabarcık, ...) sadece akıllı bir şekilde yapar.

Aklımı bölme içinde birçok parçaya veri kümesi tek parça sıralayabilirsiniz sonra hala bu parça tam bir veri kümesi tam sıralanmış. entegre etmek anlamına gelir Terabyte veri kümesi bu büyük bir görev bekliyorum binlerce sistem üzerinde dağıtılmış verildi.

Bunu gerçekten nasıl yapılıyor? Nasıl bu sıralama algoritması iş MapReduce mu?

Anlamama yardım ettiğin için teşekkürler.

Burada Hadoop's implementation for Terasort bazı ayrıntılar:

TeraSort sıralama, N sıralı Listesi − 1 her tuş aralığını tanımlayan örnek anahtarları azaltmak kullanan özel bir bölümleme hariç azaltmak/standart bir harita. Özellikle, örnek[i − 1] < gibi tüm anahtarları;= anahtar < örnek[i] ben azaltmak için gönderilir. Bu azaltsam çıktı tüm azaltın çıktı ben daha 1." garanti

Onların hileli bir şekilde göster aşamasında tuşları belirler. Aslında onlar tek bir çocuk için her değer 'önceden sıralanmış bütün diğer düşürücülere karşı. garantisi olduğundan emin olun

James Hamilton's Blog Post üzerinden kağıt bir referans bulamadım.