Generell kann bei Suchmaschinen zwischen Web-Verzeichnissen und Crawlern unterschieden werden. Ein Verzeichnis oder Katalog wie http://www.yahoo.com/ beinhaltet verschiedene Kategorien, die thematisch geordnet sind. Die Auswahl der Webseiten wurde dabei manuell erstellt. Neue Einträge können Sie nur vorschlagen (bei Yahoo z.B. über Suggest A Site) und dabei angeben, unter welcher Themen-Kategorie sie aufgelistet werden sollen. Zusätzlich können auch Stichworte zu einem Angebot sowie eine Kurzbeschreibung eingegeben werden. Bei automatischen Indexen, Crawler oder Spider genannt, wie http://www.altavista.com/ oder http://www.hotbot.com/, wird Ihre Seite nicht in Kategorien eingeordnet. Diese Suchroboter durchforschen die über 300 Millionen Internet-Seiten weltweit und deren Text selbstständig, wobei sie allerdings bei weitem nicht alle Seiten finden und indizieren. Auch benötigen diese Suchmaschinen unter Umständen Monate, bis sie zufällig auf Ihr Angebot stossen. Deshalb ist es viel sinnvoller, wenn Sie Ihre Website selber in diesen Suchdatenbanken eintragen. Das geht meist über einen Link wie Add a Page oder Add URL, den Sie irgendwo auf der Such-Homepage finden. Ihre Web-Adresse wird geprüft und meist nach einigen Tagen in die Datenbank eingefügt. Die automatische Indexierung Ihrer Website können Sie durch sogenannte Metatags beeinflussen, die mit einem Web-Designer wie Frontpage 98 eingegeben werden. Solche Metatags sind Stichwörter und Beschreibungen, die von den Suchprogrammen ausgelesen werden, wenn die Webseite besucht wird. Grundsätzlich gilt: Je häufiger ein Wort, nach dem gesucht wird, auf der Homepage vorkommt, desto eher wird sie vom Suchrobot aufgelistet. Oft wurde diese Möglichkeit jedoch von Anbietern missbraucht, die damit viele Hits auf ihrer Website erreichen wollen. Wiederholen Sie ein Wort zu häufig nacheinander, laufen Sie Gefahr, vom Suchdienst ganz ignoriert zu werden.
