NumPy son derece yararlı kütüphane ve kullanarak bunu buldum bu işi idare etmekte olan matrislerin oldukça büyük (10000 x 10000) kolay, ama başlar mücadele ile çok daha büyük bir şey arıyorum oluşturmak için bir matris 50000 x 50000 başarısız). Belli ki, bu büyük bellek gereksinimleri nedeniyle.

Büyük bir matris oluşturmak için bir şekilde bir yolunu NumPy (1 milyon ile 1 milyon diyelim) ve doğal olarak (RAM birkaç terrabytes olmadan) var mı?

PyTables ve NumPy gitmek için bir yoldur.

PyTables isteğe bağlı sıkıştırma ile CTA biçimde diskteki verileri saklar. Benim veri setleri genellikle on ya da yüz milyonlarca satır ile uğraşırken kullanışlı olan 10x sıkıştırma. Ayrıca çok hızlı değil; benim 5 yaşındaki laptop data SQL-1,000,000 satır/saniye, toplama GRUP yaparak crunch. Kötü bir Python tabanlı bir çözüm değil!

NumPy bir recarray olarak tekrar veri erişim Basit olarak

data = table[row_from:row_to]

CTA kütüphane veri ilgili bölümleri okuma ve NumPy dönüştürme ilgilenir.