3 EKİM 2014, Cuma
Python performans sorunu okuyun
Bir Python bir Perl komut dosyası geçiş içinde çıplak kemikleri benim sorunum haşlanmış, bir önceki konu aşağıdaki Python slurping dosyaları ile büyük bir performans sorunu buldum. Ubuntu Server üzerinde çalışan bu.
NOT: Bu vs Y X bir konu değil ben temelde bu ne ya eğer aptalca bir şey yaptığımı bilmek istiyorum.
Benim test verileri, 50,000 10 KB dosya (bu işleme ben ne avg dosya boyutu aynalar) I yarattı
mkdir 1
cd 1
for i in {1..50000}; do dd if=/dev/zero of=$i.xml bs=1 count=10000; done
cd ..
cp -r 1 2Sadece mümkün olduğunca 2 benim komut yarattı
Perl
foreach my $file (<$ARGV[0]/*.xml>){
my $fh;
open($fh, "< $file");
my $contents = do { local $/; <$fh> };
close($fh);
}Python
import glob, sys
for file in glob.iglob(sys.argv[1] '/*.xml'):
with open(file) as x:
f = x.read()Ben o zaman önbelleğe temizlenmiş ve her çalışma önbelleğe tekrar temizledim arasında 2 yudumda benim komut kullanarak koştu:
sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'Her zaman diskten her şeyi okumak emin olmak için takip:
sudo iotop -a -u meDenedim bu bir fiziksel makine ile RAID 10 disk ve üzerinde yeni bir VM Kur nerede VM üzerinde RAID 1 SSD, sadece dahil test benim VM olarak fiziksel sunucu oldu aynı şey, sadece daha hızlı.
$ time python readFiles.py 1
real 5m2.493s
user 0m1.783s
sys 0m5.013s
$ time perl readFiles.pl 2
real 0m13.059s
user 0m1.690s
sys 0m2.471s
$ time perl readFiles.pl 2
real 0m13.313s
user 0m1.670s
sys 0m2.579s
$ time python readFiles.py 1
real 4m43.378s
user 0m1.772s
sys 0m4.731sPerl DİSK OKUMA etrafında 45/s ve İOWAİT yaklaşık M oldu çalışırken iotop üzerinde Python DİSK OKUMA çalışan 2 m/s ve İOWAİT 97%, 70%, fark ettim. Bana burada çok basit aşağı haşlanmış olan nereye emin değilim.
Dava içinde geçerlidir
$ python
Python 2.7.6 (default, Mar 22 2014, 22:59:56)
[GCC 4.8.2] on linux2
$ perl -v
This is perl 5, version 18, subversion 2 (v5.18.2) built for x86_64-linux-gnu-thread-multiİSTEDİĞİNİZ GİBİ DAHA FAZLA BİLGİ
Trace koştum ve dosya 1000.xml bilgilerimi aldı ama hep aynı şeyleri yapmak için bir şey gibi görünüyor
Perl
$strace -f -T -o trace.perl.1 perl readFiles.pl 2
32303 open("2/1000.xml", O_RDONLY) = 3 <0.000020>
32303 ioctl(3, SNDCTL_TMR_TIMEBASE or SNDRV_TIMER_IOCTL_NEXT_DEVICE or TCGETS, 0x7fff7f6f7b90) = -1 ENOTTY (Inappropriate ioctl for device) <0.000016>
32303 lseek(3, 0, SEEK_CUR) = 0 <0.000016>
32303 fstat(3, {st_mode=S_IFREG|0664, st_size=10000, ...}) = 0 <0.000016>
32303 fcntl(3, F_SETFD, FD_CLOEXEC) = 0 <0.000017>
32303 fstat(3, {st_mode=S_IFREG|0664, st_size=10000, ...}) = 0 <0.000030>
32303 read(3, "\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 8192) = 8192 <0.005323>
32303 read(3, "\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 8192) = 1808 <0.000022>
32303 read(3, "", 8192) = 0 <0.000019>
32303 close(3) = 0 <0.000017>Python
$strace -f -T -o trace.python.1 python readFiles.py 1
32313 open("1/1000.xml", O_RDONLY) = 3 <0.000021>
32313 fstat(3, {st_mode=S_IFREG|0664, st_size=10000, ...}) = 0 <0.000017>
32313 fstat(3, {st_mode=S_IFREG|0664, st_size=10000, ...}) = 0 <0.000019>
32313 lseek(3, 0, SEEK_CUR) = 0 <0.000018>
32313 fstat(3, {st_mode=S_IFREG|0664, st_size=10000, ...}) = 0 <0.000018>
32313 mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fa18820a000 <0.000019>
32313 lseek(3, 0, SEEK_CUR) = 0 <0.000018>
32313 read(3, "\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 8192) = 8192 <0.006795>
32313 read(3, "\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096) = 1808 <0.000031>
32313 read(3, "", 4096) = 0 <0.000018>
32313 close(3) = 0 <0.000027>
32313 munmap(0x7fa18820a000, 4096) = 0 <0.000022>Değil emin eğer alakalı olmadığını fark ettim tek fark, Perl, python gelmez ise bunları açılış başlamadan önce tüm dosyaları karşı bu çalıştırmak için görünür
32303 lstat("2/1000.xml", {st_mode=S_IFREG|0664, st_size=10000, ...}) = 0 <0.000022>Ayrıca ran-c (sadece üst birkaç görüşmesi yaptım): trace
Perl
$ time strace -f -c perl readFiles.pl 2
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
44.07 3.501471 23 150018 read
12.54 0.996490 10 100011 fstat
9.47 0.752552 15 50000 lstat
7.99 0.634904 13 50016 open
6.89 0.547016 11 50017 close
6.19 0.491944 10 50008 50005 ioctl
6.12 0.486208 10 50014 3 lseek
6.10 0.484374 10 50001 fcntl
real 0m37.829s
user 0m6.373s
sys 0m25.042sPython
$ time strace -f -c python readFiles.py 1
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
42.97 4.186173 28 150104 read
15.58 1.518304 10 150103 fstat
10.51 1.023681 20 50242 174 open
10.12 0.986350 10 100003 lseek
7.69 0.749387 15 50047 munmap
6.85 0.667576 13 50071 close
5.90 0.574888 11 50073 mmap
real 5m5.237s
user 0m7.278s
sys 0m30.736sBazı ayrıştırma trace çıkış-T açık ve sayılan ilk 8192 bayt okumak için her dosya ve açık olduğu zaman oluyor, aşağıda toplam zaman geçirdiği için 50000 ilk okur bir dosya takip ortalama kez okunmuş.
300.247128000002 (0.00600446220302379) - Python
11.6845620000003 (0.000233681892724297) - PerlEğer işe yarayacağından emin değilim!
GÜNCELLEME 2 Python güncellenmiş kod işletim sistemi kullanmak için.açık ve os.ve ilk 4096 bayt (bu istediğim bilgi dosya üst kısmında olduğu için) tek bir okuma yap da trace: tüm diğer aramaları ortadan kaldırır
18346 open("1/1000.xml", O_RDONLY) = 3 <0.000026>
18346 read(3, "\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096) = 4096 <0.007206>
18346 close(3) = 0 <0.000024>
$ time strace -f -c python readFiles.py 1
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
55.39 2.388932 48 50104 read
22.86 0.986096 20 50242 174 open
20.72 0.893579 18 50071 close
real 4m48.751s
user 0m3.078s
sys 0m12.360s
Total Time (avg read call)
282.28626 (0.00564290374812595)Başka bir örnek, Azure ve oraya bir VM oluşturmak gidiyorum sonra! hala daha iyi...!
Bu boyutu için 3 - Özür dilerim GÜNCELLEME!!
Tamam bazı ilginç sonuçlar kullanarak (@J. F. Sebastian) komut 3 kurulumları, elimden çıktı başlatmak için kısalık ve de kaldırılması tüm testler sadece koşmak süper hızlı önbellek ve bak gibi:
0.23user 0.26system 0:00.50elapsed 99%CPU (0avgtext 0avgdata 9140maxresident)k
0inputs 0outputs (0major 2479minor)pagefaults 0swapsAzure A2 Standart VM (2 çekirdek 3.5 GB RAM Disk Bilinmeyen ama yavaş)
$ uname -a
Linux servername 3.13.0-35-generic #62-Ubuntu SMP Fri Aug 15 01:58:42 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
$ python
Python 2.7.6 (default, Mar 22 2014, 22:59:56)
[GCC 4.8.2] on linux2
$ perl -v
This is perl 5, version 18, subversion 2 (v5.18.2) built for x86_64-linux-gnu-thread-multi
(with 41 registered patches, see perl -V for more detail)
/usr/bin/time perl slurp.pl 1
1.81user 2.95system 3:11.28elapsed 2%CPU (0avgtext 0avgdata 9144maxresident)k
1233840inputs 0outputs (20major 2461minor)pagefaults 0swaps
clearcache
sync
sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'
/usr/bin/time python slurp.py 1
1.56user 3.76system 3:06.05elapsed 2%CPU (0avgtext 0avgdata 8024maxresident)k
1232232inputs 0outputs (14major 52273minor)pagefaults 0swaps
/usr/bin/time perl slurp.pl 2
1.90user 3.11system 6:02.17elapsed 1%CPU (0avgtext 0avgdata 9144maxresident)k
1233776inputs 0outputs (16major 2465minor)pagefaults 0swapsHer ikisi için de benzer ilk yudumda sonuçları, 2. Perl slurp sırasında neler olduğuna emin değil misiniz?
VMWare Linux VM (8 GB RAM Disk RAID1 2 çekirdek SSD)
$ uname -a
Linux servername 3.13.0-32-generic #57-Ubuntu SMP Tue Jul 15 03:51:08 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
$ python
Python 2.7.6 (default, Mar 22 2014, 22:59:56)
[GCC 4.8.2] on linux2
$ perl -v
This is perl 5, version 18, subversion 2 (v5.18.2) built for x86_64-linux-gnu-thread-multi
(with 41 registered patches, see perl -V for more detail)
/usr/bin/time perl slurp.pl 1
1.66user 2.55system 0:13.28elapsed 31%CPU (0avgtext 0avgdata 9136maxresident)k
1233152inputs 0outputs (20major 2460minor)pagefaults 0swaps
clearcache
sync
sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'
/usr/bin/time python slurp.py 1
2.10user 4.67system 4:45.65elapsed 2%CPU (0avgtext 0avgdata 8012maxresident)k
1232056inputs 0outputs (14major 52269minor)pagefaults 0swaps
/usr/bin/time perl slurp.pl 2
2.13user 4.11system 5:01.40elapsed 2%CPU (0avgtext 0avgdata 9140maxresident)k
1233264inputs 0outputs (16major 2463minor)pagefaults 0swapsBu kez, daha önce olduğu gibi, Perl şekilde daha hızlı ilk yudumda, ikinci Perl gazlı oluyor ama önce bu davranışı görülür ne emin değildir. Measure.sh tekrar koştu ve sonuç tam olarak ya da bir kaç saniye ver de aynıydı. Ben o zaman her normal insanın yapacağı şeyi yaptım ve Azure makine 3.13.0-35-generic maç için çekirdeği güncelledi ve tekrar measure.sh ve sonuç hiçbir değişiklik yapmadı koştu.
Meraktan sonra measure.sh 1 ve 2 parametre takas ve garip bir şey oldu..Perl yavaşladı ve Python hızlandırdı!
/usr/bin/time perl slurp.pl 2
1.78user 3.46system 4:43.90elapsed 1%CPU (0avgtext 0avgdata 9140maxresident)k
1234952inputs 0outputs (21major 2458minor)pagefaults 0swaps
clearcache
sync
sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'
/usr/bin/time python slurp.py 2
1.19user 3.09system 0:10.67elapsed 40%CPU (0avgtext 0avgdata 8012maxresident)k
1233632inputs 0outputs (14major 52269minor)pagefaults 0swaps
/usr/bin/time perl slurp.pl 1
1.36user 2.32system 0:13.40elapsed 27%CPU (0avgtext 0avgdata 9136maxresident)k
1232032inputs 0outputs (17major 2465minor)pagefaults 0swapsBu sadece beni daha da karıştırdı :-(
Fiziksel Sunucu (32 çekirdek 132 GB RAM Disk RAID10 SAS)
$ uname -a
Linux servername 3.5.0-23-generic #35~precise1-Ubuntu SMP Fri Jan 25 17:13:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
$ python
Python 2.7.3 (default, Aug 1 2012, 05:14:39)
[GCC 4.6.3] on linux2
$ perl -v
This is perl 5, version 14, subversion 2 (v5.14.2) built for x86_64-linux-gnu-thread-multi
(with 55 registered patches, see perl -V for more detail)
/usr/bin/time perl slurp.pl 1
2.22user 2.60system 0:15.78elapsed 30%CPU (0avgtext 0avgdata 43728maxresident)k
1233264inputs 0outputs (15major 2984minor)pagefaults 0swaps
clearcache
sync
sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'
/usr/bin/time python slurp.py 1
2.51user 4.79system 1:58.53elapsed 6%CPU (0avgtext 0avgdata 34256maxresident)k
1234752inputs 0outputs (16major 52385minor)pagefaults 0swaps
/usr/bin/time perl slurp.pl 2
2.17user 2.95system 0:06.96elapsed 73%CPU (0avgtext 0avgdata 43744maxresident)k
1232008inputs 0outputs (14major 2987minor)pagefaults 0swapsBurada Perl her zaman kazanmak gibi görünüyor.
şaşkın
Verilen gariplik benim yerel VM, ne zaman değiştirdim dizinleri, hangi makine var en kontrole gidiyorum deneyin bir ikili yaklaşım tüm olası seçenekleri çalışan python vs perl kullanarak 1 veya 2 olarak veri dizini ve denemek için çalışacak onları birden çok kez tutarlılık ama biraz sürer ben biraz delice bir sonu olması gerekli. Tek istediğim kıvamda :-(
4 - Tutarlılık GÜNCELLEŞTİRİN
(Ubuntu-14.04.1-server VM 3.13.0-35-generic #62-Ubuntu) üzerinde çalışan aşağıdadır
Bazı kıvamını buldu, testleri bir veri dir 1 / 2/Perl slurp şunları buldum Python için mümkün olan her şekilde düşünüyorum:
- Python her zaman oluşturulan dosyaları (yani dd tarafından oluşturulan) yavaş
- Python her zaman kopyalanan dosyaları (yani cp-r) tarafından oluşturulan Hızlı
- Perl her zaman oluşturulan dosyaları (yani dd tarafından oluşturulan) Hızlı
- Perl her zaman kopyalanan dosyaları (yani cp-r) tarafından oluşturulan yavaş
OS düzeyi kopyalama baktım ve Ubuntu bana öyle geliyor ki '' Python ile aynı şekilde davranır, yani kopyalanan dosyaları özgün dosyaları ve hızlı. yavaş cp
Bu koştum nedir ve sonuçları, RAID10 bir sistemde tek bir SATA HD ile ve bir makinede bu birkaç kez yaptım, sonuç:
$ mkdir 1
$ cd 1
$ for i in {1..50000}; do dd if=/dev/urandom of=$i.xml bs=1K count=10; done
$ cd ..
$ cp -r 1 2
$ sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'
$ time strace -f -c -o trace.copy2c cp -r 2 2copy
real 0m28.624s
user 0m1.429s
sys 0m27.558s
$ sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'
$ time strace -f -c -o trace.copy1c cp -r 1 1copy
real 5m21.166s
user 0m1.348s
sys 0m30.717sİzleme sonuçları zaman harcandığını yerleri gösterir
$ head trace.copy1c trace.copy2c
==> trace.copy1c <==
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
60.09 2.541250 25 100008 read
12.22 0.516799 10 50000 write
9.62 0.406904 4 100009 open
5.59 0.236274 2 100013 close
4.80 0.203114 4 50004 1 lstat
4.71 0.199211 2 100009 fstat
2.19 0.092662 2 50000 fadvise64
0.72 0.030418 608 50 getdents
==> trace.copy2c <==
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
47.86 0.802376 8 100008 read
13.55 0.227108 5 50000 write
13.02 0.218312 2 100009 open
7.36 0.123364 1 100013 close
6.83 0.114589 1 100009 fstat
6.31 0.105742 2 50004 1 lstat
3.38 0.056634 1 50000 fadvise64
1.62 0.027191 544 50 getdentsKopyalama kopya orijinal dosya kopyalama çok daha hızlı öyle görünüyor ki, benim şu anki tahminim kopyalanan dosyalar diskte aslında onları daha verimli hale yaratıldıkları zaman daha iyi okumak için hizalanmış?
İlginçtir 'rsyn' ve 'cp' ters speedwise çalışmak, çok gibi görünüyor Perl ve Python!
$ rm -rf 1copy 2copy; sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'; echo "Rsync 1"; /usr/bin/time rsync -a 1 1copy; sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'; echo "Rsync 2"; /usr/bin/time rsync -a 2 2copy
Rsync 1
3.62user 3.76system 0:13.00elapsed 56%CPU (0avgtext 0avgdata 5072maxresident)k
1230600inputs 1200000outputs (13major 2684minor)pagefaults 0swaps
Rsync 2
4.87user 6.52system 5:06.24elapsed 3%CPU (0avgtext 0avgdata 5076maxresident)k
1231832inputs 1200000outputs (13major 2689minor)pagefaults 0swaps
$ rm -rf 1copy 2copy; sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'; echo "Copy 1"; /usr/bin/time cp -r 1 1copy; sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'; echo "Copy 2"; /usr/bin/time cp -r 2 2copy
Copy 1
0.48user 6.42system 5:05.30elapsed 2%CPU (0avgtext 0avgdata 1212maxresident)k
1229432inputs 1200000outputs (6major 415minor)pagefaults 0swaps
Copy 2
0.33user 4.17system 0:11.13elapsed 40%CPU (0avgtext 0avgdata 1212maxresident)k
1230416inputs 1200000outputs (6major 414minor)pagefaults 0swaps
CEVAP
5 EKİM 2014, Pazar
Dinlenme benzeşen şeyler olmalı çünkü örnekler sadece bir odaklanmak, karşılık vereceğim
Bence, bu durumda önceden Okuma (ya da belki başka bir yöntem, bu ilgili) olursa olsun ne özelliği:
Hadi bu örneği ele alalım
"1" dir dd komutu ve o zamana kadar yaptığınız gibi (isim 1000.xml için 1.xml ben kopyalanan dir 2 dir 1 Özgün . 1000 xml dosyası oluşturduk
$ mkdir 1
$ cd 1
$ for i in {1..1000}; do dd if=/dev/urandom of=$i.xml bs=1K count=10; done
$ cd ..
$ cp -r 1 2
$ sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'
$ time strace -f -c -o trace.copy2c cp -r 2 2copy
$ sync; sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'
$ time strace -f -c -o trace.copy1c cp -r 1 1copyBir sonraki adımda cp komutu (trace) sipariş verileri kopyalanır ne öğrendim ben debug:
Yani cp mu sipariş (orijinal dizinden ikinci okuma ikinci kopyalanan dizin okumak için daha fazla zaman alıcı olduğunu gördüm çünkü sadece ilk 4 dosyaları) bunu şu şekilde
100.xml 150.xml 58.xml 64.xml ... benim örnekte*
Şimdi, bu dosyaları (coherent çıktı - ext3 fs) tarafından kullanılan dosya sistemi blok üzerinde bir göz atın:
Orijinal dizin:
BLOCKS:
(0-9):63038-63047 100.xml
(0-9):64091-64100 150.xml
(0-9):57926-57935 58.xml
(0-9):60959-60968 64.xml
....
Copied directory:
BLOCKS:
(0-9):65791-65800 100.xml
(0-9):65801-65810 150.xml
(0-9):65811-65820 58.xml
(0-9):65821-65830 64.xml....
"Blok bitişik, ilk dosya 100.xml okuma sırasında" İleri Okuma "anlamına gelir yani"Kopyalanan dizin gördüğünüz gibi tekniği (kumanda veya sistem ayarları) performansı artırabilir.
dd başka bir sipariş 1000.xml ama cp komutu kopyalar için 1.xml dosya (100.xml, 150.xml, 58.xml,64.xml oluşturun. Yürütme:
cp -r 1 1copybaşka bu dizin kopyalamak için, kopya olan dosyaları blokları bu tür dosyaları okumak daha fazla zaman ayırın değil bitişik.
Kopyalama cp komutu dosya dd komutu tarafından oluşturulmaz) tarafından kopyalanan dosya sonra hangi dizin oluşturma çok bitişik
cp -r 2 2copy kopyanın kopyası daha hızlıdır.
Özet: Python/perl aynı dır (ya da iki dizin cp komutu ile kopyalanan) kullanmanız gerekir ve ayrıca seçeneği O_DİRECT atlayarak okumak için kullanabilirsiniz performansını test etmek için yani tüm çekirdek tamponlar ve diskteki verileri doğrudan okuyabilir.
Lütfen unutmayın, bu sonuçlar çekirdek farklı tür, sistem, disk denetleyici, sistem ayarları üzerinde farklı, fs ve benzeri olabilir.
Eklemeler:
[debugfs]
[root@dhcppc3 test]# debugfs /dev/sda1
debugfs 1.39 (29-May-2006)
debugfs: cd test
debugfs: stat test.xml
Inode: 24102 Type: regular Mode: 0644 Flags: 0x0 Generation: 3385884179
User: 0 Group: 0 Size: 4
File ACL: 0 Directory ACL: 0
Links: 1 Blockcount: 2
Fragment: Address: 0 Number: 0 Size: 0
ctime: 0x543274bf -- Mon Oct 6 06:53:51 2014
atime: 0x543274be -- Mon Oct 6 06:53:50 2014
mtime: 0x543274bf -- Mon Oct 6 06:53:51 2014
BLOCKS:
(0):29935
TOTAL: 1
debugfs:
Bunu Paylaş:
AYNI ETİKETTEKİ VİDEOLAR
YORUMLAR
SPONSOR VİDEO
Rastgele Yazarlar
-
ABC News (Au
9 HAZİRAN 2008 -
ecf150king
20 Ocak 2006 -
PCDIY
16 AĞUSTOS 2013
Nasıl Java SecureRandom ile performans...
Python ile büyük metin dosyaları, hafı...
Python urllib2 Basic Auth Sorunu...
Okuyun .mat Python dosyaları...
Python Performans - Hiç başka bir şeyi...