Ερώτηση Επίθεση hacker στο psarema.gr

Επισκέπτης  (67.195.55.29)  Διαβάζει την αρχική σελίδα τού Οι συζητήσεις του psarema.gr.

Γιώργο, με ένα πρόχειρο ψάξιμο, βρήκα ότι η παραπάνω ΙP ανήκει στο στο IP range του Slurp, τον Web Crawler του Yahoo δηλαδή (το bot που περνάει και κάνει indexing τις σελίδες)

Αυτό μπορείς να το επιβεβαιώσεις από εδώ:
www.marcus.nu/search_engine_ips.php
(κάνε ένα search για τη συγκεκριμένη IP).

Πληροφορίες για το Slurp μπορείς να βρεις εδώ:
help.yahoo.com/l/us/yahoo/search/webcrawler/

και πληροφορίες για το πως μπορεί να ρυθμιστεί το indexing και τα requests που κάνει στο site (server) τροποποιώντας το σχετικό αρχείο robots.txt του site εδώ:

help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-03.html
(δες εκεί που λέει για το delay).


Πιθανόν παρόμοια ρύθμιση να χρειαστεί να γίνει και για άλλα bots (googlebot, msnbot κτλ) αλλά απ ότι έψαξα αυτό του yahoo είναι που δημιουργεί τα προβλήματα.

Παρόμοια προβλήματα είχαν και πολλά άλλα site, πληροφορίες μπορείς να βρεις με μια σχετική αναζήτηση στο google (π.χ. yahoo slurp server problems ή κάτι παρόμοιο)

Στη διάθεσή σου για ότι χρειαστείς.

 

Aν δεις ότι κολλάει πάλι, αύξησε και άλλο το delay. 

Γιώργο για το συγκεκριμένο νομίζω δεν πρέπει να ανησυχούμε. Είναι κατά πάσα πιθανότητα κάποιο spider του yahoo.
Είναι άκακα bots που απλά μαζεύουν πληροφορίες για τις διάφορες ιστοσελίδες. Spiders διαθέτουν όλες οι μεγάλες εταιρείες τέτοιου τύπου (yahoo, google, lycos, msn, windows live Κλπ) για να δημιουργούν αναφορές.

Από τη webopedia.com

spider

A program that automatically fetches Web pages. Spiders are used to feed pages to search engines. It's called a spider because it crawls over the Web. Another term for these programs is webcrawler.
Because most Web pages contain links to other pages, a spider can start almost anywhere. As soon as it sees a link to another page, it goes off and fetches it. Large search engines, like Alta Vista, have many spiders working in parallel.