Während die meisten Crawlingjobs in wenigen Minuten erledigt sind, gibt es bei der Zeit, die für das Scrapen von Bewertungen benötigt wird, mehrere Variablen, die berücksichtigt werden müssen:
1. Warteschlange
Wenn ein Crawlingjob angelegt wird, kommt dieser in eine Warteschlange, die nach dem Prinzip "Wer zuerst kommt, mahlt zuerst" arbeitet. Das bedeutet, dass diese Jobs in eineWarteschlange aufgenommen werden und diese nacheinander abgearbeitet werden.
2. Rezensionsseite
Einige Bewertungsportale sind schwieriger zu erfassen als andere, daher kann die Zeit je nach Portal leicht variieren.
3. Anzahl der Rezensionen
Wenn Sie einen Job mit 10.000 Bewertungen hinzugefügt haben, dauert das Sammeln der Reviews natürlich länger als bei einem Job mit nur 100 Bewertungen.