Crawling ist die Bezeichnung für den Prozess mit dem Suchmaschinen das Internet durchsuchen. Die Softwareprogramme mit denen dies geschieht werden auch als Crawler (sowie Bots oder Spiders) bezeichnet. Tools wie die Google Search Console können Webseitenbetreiber mit Informationen zum Crawling ihrer Webseiten versorgen und z.B. Crawling-Fehler aufzeigen oder Statistiken bereitstellen.
« Back to Glossary Index