SORU
30 Ocak 2012, PAZARTESİ


Mümkün olan en hızlı grep

Eğer yapmak için herhangi bir ipucu varsa bilmek isterimgrepmümkün olduğunca hızlı. Metin dosyaları oldukça büyük bir üs olarak en hızlı şekilde arama yapmak zorundayım. -i isteğe kurtulmak diye hepsini küçük harf yaptım. Bu arama çok daha hızlı yapar.

Ayrıca, -F -P modları varsayılan daha hızlı olduğunu öğrendim. Arama dize düzenli ifade (sadece düz metin), eğer düzenli söz konusu ise ikincisi olduğunda, eski kullanıyorum.

Herkes grep hızlandırma konusunda herhangi bir deneyimi var mı? Belki bazı özel bayraklı çizik (Linux Otomotiv-gidiyorum) derleme, belirli bir şekilde dosyaları düzenlemek veya arama bir şekilde paralel hale olabilir mi? Herhangi bir ipucu takdir edilir. Teşekkürler.

CEVAP
30 Ocak 2012, PAZARTESİ


an example of how to use it with grep içeren GNU parallel ile deneyin:

grep -r dizinlerde yinelemeli greps. Çok çekirdekli İşlemci GNU parallel genellikle bu hızlandırabilir.

find . -type f | parallel -k -j150% -n 1000 -m grep -H -n STRING {}

Bu çekirdek başına 1.5 iş çalışır, ve grep 1000 argümanlar verin.

Büyük dosyalar için, --pipe --block değişkenlerle çeşitli parçalar giriş bölmek olabilir:

 parallel --pipe --block 2M grep foo < bigfile

Ayrıca SSH (ssh-agent önlemek için gerekli şifreler) sayesinde birçok farklı makineler üzerinde çalıştırabilirsiniz:

parallel --pipe --sshlogin server.example.com,server2.example.net grep foo < bigfile

Bunu Paylaş:
  • Google+
  • E-Posta
Etiketler:

YORUMLAR

SPONSOR VİDEO

Rastgele Yazarlar

  • ChannelRichard

    ChannelRicha

    7 Kasım 2008
  • hidetake takayama

    hidetake tak

    3 Mart 2009
  • KendrickLamarVEVO

    KendrickLama

    9 ŞUBAT 2011