login  Naam:   Wachtwoord: 
Registreer je!
 Forum

spider deel2

Offline jelle - 10/10/2007 19:40 (laatste wijziging 10/10/2007 20:59)
Avatar van jellePHP beginner ok in het eerste deel vroeg ik jullie naar spider opzetten, heb nu een simpele zoekfunctie enz..
maar nu heb ik nog eeen vraagje, hoe laat ik de spider echt alle NL adressen laten spideren? php experts zullen wel hebben wat een kluns, dat weet hij toch!  

dus hoe laat je m alle nl adressen afgaan?

Citaat:
PieterC Edit: voor de geïnteresseerden: deel 1

8 antwoorden

Gesponsorde links
Offline gothmog - 10/10/2007 19:47
Avatar van gothmog Lid Alle website's?
Gewoon links volgen, en die je gehad hebt al in je database zetten net als google doet.
En zelf links toevoegen, stel dat iedere site zo'n 2 a 3 nieuwe links heeft en er zon 100.000.000 sites zijn, ben je ff bezig, kost je wat serverload, maar je hebt er dan wel veel. GOogle indexeert ook maar iets van 10% van het hele web.
Offline jelle - 10/10/2007 19:59 (laatste wijziging 12/10/2007 16:39)
Avatar van jelle PHP beginner ok en over die server load, heb localhost: netserver

hoelang is ie dan bezig denk je , een paar dagen?
Offline Webtijn - 12/10/2007 18:27 (laatste wijziging 12/10/2007 18:27)
Avatar van Webtijn PHP interesse Dagen? Hangt van het aantal nederlandse sites af en jou serversnelheid, maar reken maar op weken/maanden in plaats van dagen. Há, wat een grap.. dagen? Dan zou ik ook wel even een spider opzetten.

Om nog maar te zwijgen over de grootte van alle websites die je op moet slaan e.d.
Offline jelle - 12/10/2007 19:00
Avatar van jelle PHP beginner maar dat ga ik niet doen, mijn spider gaat alle nl adressen af, zoekt naar bepaalde woorden en als die woorden er in staan slaat hij het adress op in een db,

en als dat maanden gaat duren hoe doet google dat dan?
Offline avdg - 12/10/2007 19:07
Avatar van avdg PHP gevorderde In servers investeren en upgraden natuurlijk      
Offline jelle - 12/10/2007 19:09
Avatar van jelle PHP beginner en hoe kan ik localhost netserver zo snel als mogelijk maken?
Offline HOND_NL - 12/10/2007 19:12
Avatar van HOND_NL Nieuw lid je kan ook natuurlijk gewoon google spideren ...
die heeft alles al in zijn db staan...
Optie voor alleen NL sites en je keywords door google laten zoeken , link volgen van goolge en site indexeren..

scheelt je een hoop werk..

Al zal je wat minder crawls per uur moeten uitvoeren ( via cron BV) wil je niet dat google je banned...
Offline ikki007 - 12/10/2007 19:32
Avatar van ikki007 Gouden medailleGouden medaille

PHP ver gevorderde		 Google draait wel op meer dan 1 thuisservertje  

Daar zit een groot netwerk achter  
Gesponsorde links
Dit onderwerp is gesloten.
Actieve forumberichten
© 2002-2024 Sitemasters.be - Regels - Laadtijd: 0.17s