OSE LinkScraper - scraper linków z OpenSiteExplorer

Wersja demo pozwalająca na pobranie linków dla 10 domen: http://www.mediafire.com/?8hp41i8v89l16p7

Program pozwala na masowe zbieranie linków do stron zdefiniowanych na liście w pliku .txt do pliku csv.

Czyli mamy pewną listę stron i chcemy wiedzieć jakie linki do tych stron prowadzą (np. aby samemu umieścić na nich link). Można to zrobić za pomocą tego programu.

Konieczne jest posiadanie własnego klucza API do usługi OpenSiteExplorer (może być to klucz darmowy aczkolwiek wykorzystanie API jest wtedy mocno limitowane w stosunku do kont płatnych). Wersja darmowa pozwala na pobranie 1 miliona adresów w ciągu miesiąca przy czym nie można pobierać danych z API częściej niż co 10 sekund.

1. Aby uzyskać klucz trzeba zarejestrować się tutaj http://www.seomoz.org/api/keys .

2. Utworzony w ten sposób klucz trzeba wkleić do pliku keys.txt w folderze programu w następującym formacie: Your Access ID:Your Secret Key

czyli na przykład:

member-0000000000:705da000000000000000000000000001

3. Należy ustawić odpowiednie opcje jak max linków na pobranie (dla darmowego api jest to 1000) oraz czas pomiędzy kolejnymi żądaniami do API czyli timeout (dla darmowego konta jest to min 10 sekund) .

4. Wskazujemy plik .txt z domenami do których linki chcemy zebrać, każda w osobnej linii.

5) Wskazujemy plik do którego mają się zapisywać pobrane linki.

6) Naciskamy start.

7) Po zakończeniu pracy wyniki otwieramy w dowolnym programie obsługującym .csv jak np. Excell czy LibreOffice .

Wersja 1.1 wydana

Nowa wersja WikiAdd 1.1 została wydana:

Dodano :
1) Możliwość rozwiązywania captcha typu reCaptcha przez serwis zewnętrzny Deathbycaptcha (http://deathbycaptcha.com/).
2) Obsługa potwierdzeń mailowych, tam gdzie nie udało się zarejestrować bez potwierdzenia, program ponowi próbę na koniec dodawania po potwierdzeniu mailowym. Obsługiwane konta pocztowe i zalecane do użycia z WikiAdd to O2.pl i Wp.pl .
3) Obejście Bad Behavior, program wysyła teraz bardziej naturalne nagłówki i dzięki temu jest trudniej go wykryć (bardziej przypomina normalnego użytkownika).
4) Rozwiązywanie zadań matematycznych przy rejestracji. Program jest w stanie wyszukać pytanie matematyczne przy formularzu rejestracji i je rozwiązać.
5) Max 25 liczba wątków. Jako że czas jednego dodania wydłuża się podczas rozwiązywania captcha przy użyciu Deathbycaptcha, została zwiększona liczba wątków aby zapewnić szybkie postowanie.
6) Zmiana generatora licencji, przy aktualizacji do nowej wersji trzeba jeszcze raz wygenerować kod licencji nowym migratorem który przesyłam na maila.
7) Poprawiono wykrywanie czy faktycznie profil został wyedytowany, dzięki temu jest o wiele mniej fałszywie pokazanych przez program dodań.

Zapowiedź WikiAdd 1.1

Nowa wersja WikiAdd 1.1. jest prawie na ukończeniu, po jakimś tygodniu ostatecznych testów zostanie udostępniona użykownikom.

Główne zmiany to :

1) Możliwość rozwiązywania captcha typu reCaptcha przez serwis zewnętrzny Deathbycaptcha.

2) Obsługa potwierdzeń mailowych, tam gdzie nie udało się zarejestrować bez potwierdzenia, program ponowi próbę na koniec dodawania po potwierdzeniu mailowym.

3) Obejście Bad Behavior.

4) Rozwiązywanie zadań matematycznych przy rejestracji.

5) Max 25 liczba wątków.

WikiAdd 1.0 prezentacja działania programu

Prezentacja działania programu WikiAdd 1.0 Program służy do masowego dodawania artykułów z linkami na stronach opartych o skrypt Mediawiki. Obsługuje {spintax}, dodawanie przez proxy i definiowanie własnych useragents. Program jest wielowątkowy i pozwala na ustawienie max 10 wątków. Program może być uruchamiany bez ograniczeń ilościowych w obrębie 1 komputera.