Spider oder Robot ist eine Bezeichnung für Softwareprogramme von Suchmaschinen mit welchen Webseiten durchsucht und Inhalte in den Suchmaschinen-Index aufgenommen werden. Man bezeichnet diese Aktivität auch als Crawling. Crawler ist ein weiterer synonymer Begriff für Spider oder Robot. Webseitenbetreiber können Robots über die Textdatei robots.txt steuern bzw. Anweisungen geben. Der Robot von Google wird manchmal auch als Google bot bezeichnet.
« Back to Glossary Index