Ve bizim NPO web sitelerini ve içerik için bulgularını listesi sürün üretebilir basit bir paletli yazmaya çalışıyorum düşüncelerim var.

Kimse bunun nasıl yapılacağı hakkında herhangi bir fikri olan var mı? Nerede başlamak için paletli noktası mı? Nasıl bulgularını geri gönder ve hala sürünmeye devam mı? Nasıl bulursa ne olacak, vesaire,vesaire.

Tekerlek, emin olmak için yeniden icat olacak. Ama burada temel:

• Edilmemiş bir URL Listesi - Bu, bir veya daha fazla başlangıç sayfaları ile tohum
• Ziyaret edilen URL listesi - çevirip duruyoruz
• URL için bir dizi kural size meraklı değiliz - tüm İnternet dizini yok

Kalıcı depolama koyayım, dur ve devlet kaybetmeden paletli başlayabilirsiniz.

Algoritma:

while(list of unvisited URLs is not empty) {
    take URL from list
    fetch content
    record whatever it is you want to about the content
    if content is HTML {
        parse out URLs from links
        foreach URL {
           if it matches your rules
              and it's not already in either the visited or unvisited list
              add it to the unvisited list
        }
    }
}