Büyük sanatçı bir veritabanı ile oldukça geniş bir müzik sitesi var. Diğer müzik sitelerinin veri (kukla Sanatçı isimleri burada ve ben oraya girin ve daha sonra onlar için google arama yapın) kazıma fark ettim.

Nasıl ekran kazıma engelleyebilir miyim? Hatta mümkün mü?

robots.txt ayarladığınız tahmin olacaktır.

Diğerleri de belirttiğim gibi, kazıyıcı faaliyetlerini neredeyse her alanında sahte olabilir, ve muhtemelen çok zor kötü adamlar gelen istekleri tanımlamak için.

Yaptığını düşünün

1. Sayfa /jail.html ayarlayın
2. robots.txt sayfasına erişim saygılı örümcekler ziyaretine de izin vermeyecek
3. Sayfalarınızı bir link, CSS (display: none) ile saklanma yeri.
4. /jail.html için ziyaretçi kaydı IPs

Bu hızlı bir şekilde sizin utanmazca göz ardı ederek robots.txt olan kazıyıcı isteklerini belirlemek için yardımcı olabilir.

Belki de yapmak ister /jail.html bir bütün web sitesi aynı, tam biçimlendirme olarak normal sayfaları, ama sahte veri (/jail/album/63ajdka, /jail/track/3aads8, vb.). Bu şekilde, kötü kazıyıcı uyarı olmayacak "olağandışı giriş" kadar tamamen bloke etme şansın var.