{"id":2786,"date":"2021-03-29T12:47:41","date_gmt":"2021-03-29T10:47:41","guid":{"rendered":"https:\/\/www.sortlist.de\/blog\/?p=2786"},"modified":"2025-04-01T11:15:26","modified_gmt":"2025-04-01T09:15:26","slug":"web-scraping","status":"publish","type":"post","link":"https:\/\/www.sortlist.de\/blog\/web-scraping\/","title":{"rendered":"Achtung, Bots: Was ist Web Scraping bzw. Screen Scraping?"},"content":{"rendered":"

In diesem Artikel geht es um das automatisierte Abgreifen von Daten aus dem Internet durch Bots<\/strong>. Wir beschreiben, wo Web Scraping<\/strong> zum Einsatz kommt und wie es sich einschr\u00e4nken und verhindern l\u00e4sst.<\/p>\n

Was ist Web Scraping?<\/h2>\n
\n
\"Roboter,<\/figure>\n<\/div>\n

Wie so oft im Marketing und in der IT gibt es mehrere Begriffe f\u00fcr die gleiche Sache: Das systematische Sammeln von Daten im Internet hei\u00dft Web Scraping<\/strong> (Absch\u00fcrfen des Netzes), Web Harvesting<\/strong> (Ernten im Netz) oder auch Screen Scraping<\/strong> (Bildschirm-Sch\u00fcrfen).<\/p>\n

In der Regel geschieht Web Scraping durch Robots<\/strong> oder kurz Bots<\/strong>, also Computerprogramme oder virtuelle Maschinen. Prinzipiell ist diese Datensammlung manuell m\u00f6glich, was jedoch ziemlich lange dauert und nur in Einzelf\u00e4llen eingesetzt wird.<\/p>\n

Aus den beim Scraping gewonnenen Roh-Daten wird mittels Data-Mining<\/strong> oder Web<\/strong> Mining<\/strong> das ben\u00f6tigte Wissen extrahiert, wobei der Begriff Data-Mining gelegentlich auch in ungenauer Weise f\u00fcr das Sammeln der Daten an sich eingesetzt wird.<\/p>\n

Wie funktioniert Web Scraping?<\/h2>\n

Beim Sch\u00fcrfen der Daten im Netz kommt spezielle Web Scraping Software zum Einsatz. In den meisten F\u00e4llen wird diese Aufgabe des Web Harvesting Experten \u00fcberlassen<\/a>. Spezialisierte Agenturen setzen ihre Web-Crawler ein, um nach den Vorgaben der Kunden durch das World Wide Web zu „krabbeln“ und Daten zu sammeln, die anschlie\u00dfend einer genauen Analyse unterzogen werden.<\/p>\n

Neben den Crawlern gibt es noch weitere technische M\u00f6glichkeiten, mit denen Profis das Internet abgrasen. Experten, die ihre Dienste im Bereich Web Scraping anbieten, kennen die Programmiersprachen Python und Perl oder nutzen ein HTTP-Request. Diese genauen technischen Verfahren wollen wir in diesem Artikel nicht behandeln. Vielmehr wollen wir Laien ein grundlegendes Verst\u00e4ndnis von Web Scraping<\/strong> vermitteln.<\/p>\n

Anwendungsgebiete von Screen Scraping<\/h2>\n

Web Scraping wird mit guten, l\u00e4stigen oder schlichtweg b\u00f6sen Absichten eingesetzt. Wir stellen einige der Einsatzgebiete vor, wobei die Liste sicherlich nicht vollst\u00e4ndig ist.<\/p>\n

N\u00fctzliches Web Scraping oder Web Harvesting<\/h3>\n

Suchmaschinen<\/h4>\n

Der vielleicht wichtigste n\u00fctzliche Zweck des Screen Scraping ist das Crawlen der Suchmaschinen<\/strong>, allen voran Google. Sinnbildlich k\u00f6nnen Sie sich vorstellen, dass die kleinen Roboter von Google & Co von fr\u00fch bis sp\u00e4t durch das Netz krabbeln. Jeder Web Scraper Bot hat einen bestimmten Auftrag, welche Informationen er von den Webseiten abgreifen soll.<\/p>\n

Die gesammelten Daten kommen bei den Suchmaschinen in ein riesiges Verzeichnis und werden st\u00e4ndig aktualisiert. Die Informationen sind mittels Data Mining so aufbereitet, dass sie in Sekundenschnelle abrufbar sind.<\/p>\n

\"sammeln<\/figure>\n

Unternehmen haben ein gro\u00dfes Interesse, dass die Bots ihre Webseiten besuchen<\/strong>, da durch die Verzeichnisse der Search Engines organischer (also nicht bezahlter) Traffic generiert wird. Websites werden extra maschinenfreundlich gebaut und auch beim SEO<\/a> wird speziell an die Bots gedacht.<\/p>\n

Vergleichsportale<\/h4>\n

Portale zum Preisvergleich von Hotels, Fl\u00fcgen, Stromanbietern oder Elektroartikeln nutzen ebenfalls Screen Scraping oder Web Scraping, um zu ihren Daten zu gelangen<\/strong>. Doch leider k\u00f6nnen sich die Nutzenden der Portale nicht darauf verlassen, dass die obersten Eintr\u00e4ge durch Web Scraping erlangt wurden und wirklich die g\u00fcnstigste Variante darstellen. \u00c4hnlich wie bei Suchmaschinen erfolgen bezahlte Eintr\u00e4ge auf den besten Pl\u00e4tzen, was f\u00fcr die User nicht immer ersichtlich ist.<\/p>\n

Scraping zur Wissenschaftlichen Nutzung<\/h4>\n

Ein weiterer n\u00fctzlicher Bereich von Web Scraping ist die Forschung<\/strong>. Heutzutage ist es gang und g\u00e4be, dass Universit\u00e4ten und Hochschulen Web Harvesting im Rahmen von empirischer Forschung einsetzen. Datenbanken und andere Webseiten werden systematisch<\/strong> ausgewertet<\/strong> und die Ergebnisse einer wissenschaftlichen Analyse unterzogen. Vorsicht ist geboten, wenn die Ergebnisse ver\u00f6ffentlicht werden sollen, weil Urheberrechte und andere Einschr\u00e4nkungen ber\u00fccksichtigt werden m\u00fcssen.<\/p>\n

L\u00e4stiges Web Scraping durch die Mitbewerber<\/h3>\n

Die Konkurrenz schl\u00e4ft nicht – und vielleicht hat sie gerade einen Bot losgeschickt<\/strong>, der Ihre Website abgrast. Wenn es nur um eine einzige Seite oder nur um Ihre Website ginge, dann k\u00f6nnte der Mitbewerber nat\u00fcrlich direkt die gew\u00fcnschte Website anklicken.<\/p>\n

Wenn es aber um Hunderte oder Tausende von Seiten geht, sieht die Sache schon anders aus. In diesem Fall kommt das automatisierte Web Scraping<\/strong> durch Bots zum Einsatz.<\/p>\n

Daten, die f\u00fcr die Konkurrenz von Interesse sind<\/h4>\n

Folgende Daten auf Ihrer Website k\u00f6nnten f\u00fcr Web Scraper (und Image<\/strong> Scraper<\/strong>) der Konkurrenz von Interesse sein:<\/p>\n