zum Programm:

• kann nur Text lesen (sieht keine Bilder)
• kann keine Sonderformate wie Flash, Javascript, Java und dergleichen ausführen

Um eine Homepage durchsuchen zu können, muss der Suchrobot den Links zu den einzelnen Seiten folgen.
Auf jeder Ergebnisseite sehen Sie den Link und daneben einen Knopf zum analysieren von diesem Link.
Es werden nur Links zum weiteren analysieren angeboten.
Eine Seitensuche in einem "Frameset" ist nicht implementiert (habe ich nicht als notwendig erachtet, da "Frameset" wegen ihrer Nachteile seit vielen Jahren nicht mehr verwendet werden sollen).
Links nach anderen Seiten im Internet "Externlinks" werden nicht zum analysieren angeboten.

Allgemein:

Was und wie eine Suchmaschine ausliest (indexiert = gefundenen Text archivieren) ist das Geheimnis jeder Suchmaschine. Wenn die periodische Indexierung oft erfolgt und der indexierte Text gut ausgewertet wird, dann werden viele Surfer diese Suchmaschine verwenden. Das ist das Ziel jeder Suchmaschine.

Es gibt aber noch einen wichtigen Aspekt:
Suchmaschinen müssen aus dem vorgefundenen Text nur das anbieten, was für diese Seite auch relevant ist. Absichtlich geschriebene Wörter, welche nur zum auffinden der Seite dienen sollen, aber keinen Bezug haben oder dann nicht einmal angezeigt werden, sind nicht gut.

Ein Beispiel: Sie haben "beliebte" Wörter in weisser, kleiner Schrift auf weissem Hintergrund (nicht sichtbarer Text) auf Ihrer Titelseite.
Was nützt das, wenn jemand "Kukuruz" sucht, auf Ihrer Titelseite landet und den "Kukuruz" dort nicht sieht?
Der Surfer erwartet, dass nach klicken auf das Suchergebnis das betreffende Wort auf dieser Seite ist. Er wir auf gar keinen Fall jetzt die Homepage durchblättern, sondern zum nächsten Suchergebnis wandern!
Er ist zwar dagewesen, hat die Statistik verbessert, war aber "nutzlos".
Er wird die Suchmaschine schimpfen; die Suchmaschine kommt in Verruf und wird bedeutungslos (gibt falsche Ergebnisse). Das werden die Betreiber der Suchmaschine verhindern wollen. Vielleicht wird diese Seite bei den Suchergebnissen nach hinten gereiht?

Der "Kukuruz" soll auf der Unterseite, wo er beschrieben ist, auch gefunden und angezeigt werden.