Seçenekler web tarayıcıları tespit edilmesini istemiyoruz algılamak için ne var?

(Biliyorum bu liste algılama teknikleri sağlayacak akıllı stealth-paletli programcı için daha iyi bir örümcek, ama sanmayın ki biz asla edebilmek blok akıllı gizli tarayıcılarının her neyse, sadece o kişiler hata yapar.)

Googlebot ve Yahoo gibi güzel gezginleri bahsetmiyorum! Slurp. Bir bot iyi düşünün:

1. kullanıcı aracı dizesi bir bot olarak tanımlıyor
2. okur robots.txt (ve itaat)

Bu bahsediyorumkötügezginleri, ortak kullanıcı arayüzleri, benim bant genişliği kullanan ve asla karşılığında bana bir şey vermek arkasına saklanıyor.

İnşa edilebilir bazı gizli kapılar vardırgüncellenmiş liste (teşekkürler Chris, gs):

1. Robots.txt, . bu bir dizin, yalnızca listede vermemek olarak işaretlenmiş) ekleme
2. Görünmez bağlantılar (muhtemelen=rel olarak işaretlenmiş""?) nofollow ekleme
   • style="display: none;" linkine veya üst kap
   • daha yüksek olan başka bir unsur altına yerleştirilir, z-dizin
3. Aktifleştirme anlamak, algılamak
4. mesaj cevaplar ama hep Kaptan başarısız olmaya çalışan tespit.
5. SONRASI sadece kaynaklar için istekleri ALMAK Algıla
6. istekleri arasındaki aralığı tespit
7. istenen sayfa düzeni algılama
8. http istekleri üzerinden kaynakları https kim algılar
9. resim dosyası (bilinen görüntü kapasitesine sahip tarayıcıların user-agent listesi ile birlikte bu şaşırtıcı derecede iyi çalışıyor) isteği olmayan tespit

Bazı tuzaklar her iki tarafından tetiklenecek 'iyi' ve 'kötü' botlar. bir beyaz liste ile birleştirebilirsiniz:

1. Bu bir tuzak tetikler
2. robots.txt istek?
3. robots.txt itaat çünkü başka bir tuzak tetik ermiyor

Bir diğer önemli şey burada:< / ^ br . Lütfen körler için ekran okuyucu kullanan düşünün: insanlar sizinle iletişim için bir yol ver, ya da taramaya devam etmek için Kaptan bir çözmek.

Yöntemleri var web otomatik olarak algılamak için ne kadar normal bir insan ziyaretçi olarak kendilerini maskelemek için çalışıyor gezginleri.

Güncelleme< / ^ br . Soru:Nasıl her paletli yakalamak.Soru:Nasıl bir tarayıcı algılama olasılığını artırabilirsiniz.

Bazı örümcekler çok çok iyi, aslında ayrıştırma ve, xhtml, css, javascript, VB script vb html anladı< / ^ br . Hayallerim yok: onları yenmek mümkün olmayacaktır.

Ancak ne kadar aptal bazı tarayıcıları vardır sürpriz olur. Aptallık (bence) en iyi örneği olmak: dökme onları istemeden önce davayı düşürmek için URL.

Ve sonra sadece '' çeşitli gizli kapılar önlemek için. yeterince iyi değil gezginlerine bir sürü var

Project Honeypot - gördükleri büyük ölçekli (ve onların IPs DNSRBL var) bot tuzakları kurma.

Zor Url ve HTML kullanımı:

<a href="//example.com/"> = http://example.com/ on http pages.
<a href="page&#hash"> = page&   #hash

HTML yorum, CDATA unsurlar, varlıklar, vb hileler kullanabilirsiniz:

<a href="foo<!--bar-->"> (comment should not be removed)
<script>var haha = '<a href="bot">'</script>
<script>// <!-- </script> <!--><a href="bot"> <!-->