wtorek, 7 maja 2013

OSE LinkScraper - scraper linków z OpenSiteExplorer



Wersja demo pozwalająca na pobranie linków dla 10 domen: http://www.mediafire.com/?8hp41i8v89l16p7

Program pozwala na masowe zbieranie linków do stron zdefiniowanych na liście w pliku .txt do pliku csv.

Czyli mamy pewną listę stron i chcemy wiedzieć jakie linki do tych stron prowadzą (np. aby samemu umieścić na nich link). Można to zrobić za pomocą tego programu.

Konieczne jest posiadanie własnego klucza API do usługi OpenSiteExplorer (może być to klucz darmowy aczkolwiek wykorzystanie API jest wtedy mocno limitowane w stosunku do kont płatnych). Wersja darmowa pozwala na pobranie 1 miliona adresów w ciągu miesiąca przy czym nie można pobierać danych z API częściej niż co 10 sekund.

1. Aby uzyskać klucz trzeba zarejestrować się tutaj http://www.seomoz.org/api/keys .

2. Utworzony w ten sposób klucz trzeba wkleić do pliku keys.txt w folderze programu w następującym formacie: Your Access ID:Your Secret Key

czyli na przykład:

member-0000000000:705da000000000000000000000000001

3. Należy ustawić odpowiednie opcje jak max linków na pobranie (dla darmowego api jest to 1000) oraz czas pomiędzy kolejnymi żądaniami do API czyli timeout (dla darmowego konta jest to min 10 sekund) .

4. Wskazujemy plik .txt z domenami do których linki chcemy zebrać, każda w osobnej linii.

5) Wskazujemy plik do którego mają się zapisywać pobrane linki.

6) Naciskamy start.

7) Po zakończeniu pracy wyniki otwieramy w dowolnym programie obsługującym .csv jak np. Excell czy LibreOffice .