Hur kan sökmaskinerna söka genom Internet så snabbt?

Söktjänsterna på nätet söker igenom miljarder webbsidor på några sekunder. Hur kan de det?

1 september 2009

Internet innehåller idag över hundra miljarder sidor. Om sökmaskinerna skulle gå igenom alla dem varje gång de fick en förfrågan, skulle det ta flera veckor, innan vi fick svar. För att spara tid har de olika söktjänsterna som Yahoo eller Google i förväg upprättat gigantiska databaser över alla förnuftiga sökord samt listor över webbsidor på vilka ordet uppträder. Om en användare skriver in ”Jupiter”, letar sökmaskinen i sin databas under ”Jupiter” och hittar adresserna på de många tusen webbsidor som innehåller ordet. Om användaren skriver in ”Jupiter” och ”Galileo,” hittar sökmaskinen de sidor som figurerar både under Jupiters och Galileos lista. Vilka sidor som står överst på listan är olika från en söktjänst till en annan. En del tjänster sätter en webbsida högt om sökordet uppträder många gånger, andra tilldelar hög relevans efter hur många som länkar till sidan. Arbetet är för mödosamt och tidskrävande för att människor skall kunna upprätta och uppdatera databaserna. Därför använder de flesta söktjänster ett datorprogram, som kallas crawler eller robot, som automatiskt gnager sig igenom samtliga ord på så många som möjligt av nätets webbsidor. Programmet hittar nya sidor genom att följa länkar från redan kända webbsidor eller genom att använda data som webbsidornas ägare gett till söktjänsten. När crawlern väl satt igång arbetar den helt oberoende av människor. Dag och natt skannar den sig genom hundra miljarder ord, och när den är färdig, börjar den om från början. Det måste den – nätet förändras från en minut till nästa, så en databas som är flera månader gammal är hopplöst föråldrad.

Läs också

PRENUMERERA PÅ ILLUSTRERAD VETENSKAPS NYHETSBREV

Du kan ladda ned ditt gratis specialnummer, Vår extrema hjärna, så snart du har beställt vårt nyhetsbrev.

Kanske är du intresserad av...

Hittade du inte vad du söker? Sök här: