Scraper

Wozu braucht man Scraper?

Bei Scrapern handelt es sich in den meisten Fällen um Softwarewerkzeuge, die es möglich machen, den Inhalt anderer Webseiten zu kopieren und gegebenenfalls, den eigenen Anforderungen nach, aufzuarbeiten. Erst mit der Unterstützung von Scrapern ist es wirtschaftlich sinnvoll möglich, ein eigenes Webangebot rein oder vorwiegend auf Basis von fremden Inhalten zu pflegen.

Scraper werden beispielsweise eingesetzt, um Webverzeichnisse initial anzulegen und auf möglichst neuestem Stand zu halten. Hierbei werden mit Hilfe von Scrapern Teile des internetweiten Webangebots nach relevanten Daten abgesucht und Funde kopiert. Die insbesonders kommerzielle Anwendung von Scrapern wirft schnell juristische Fragen auf, so dass die Benutzung von Scrapern im Regelfall nicht unproblematisch ist.

Weiterführende Verweise:

https://de.wikipedia.org/wiki/Screen_Scraping

https://en.wikipedia.org/wiki/Web_scraping

Das folgende Video führt in die Theorie des Web-Crawlings ein, das Parallelen zum Scraping aufweist: