szewczykway

Opuściła mnie ostatnio wena, co widać po ilości wpisów na blogu. Nawet nie chciało mi się poinformować że od dwóch tygodni AleBot dla swistak.pl nie używa scrappingu i wyrażeń regularnych do zdobywania informacji o danych aukcji.
Na moją specjalną prośbę programiści Świstaka udostępnili interface WSDL dostępny tutaj: www.swistak.pl/out/wsdl2/wsdl.html. Wcześniej udostępniony był jedynie WSDL przeznaczony do wystawiania aukcji, teraz można również pobierać dane.

Trzy sprawy: wiele osób pyta mnie o wprowadzenie do AleBota funkcji ciągłego wyszukiwania przedmiotów według pewnych ustalonych kryteriów. Trochę się nad tym zastanawiałem, ale zrezygnowałem z implementacji takiego rozwiązania, gdyż interface komunikatora to nie jest najkorzystniejsze rozwiązanie dla przekazywania złożonych informacji typu cena, minimalna, maksymalna, kup teraz, nazwa, słowa z opisu, lokalizacja…
Istnieje coś takiego jak Allegro RSS Generator – konfigurowalny przez WWW generator kanałów RSS, który pozwoli spełnić wszystkie powyższe założenia. Polecam!

Druga sprawa to WSDL (API) w serwisie swistak.pl. Poprosiłem deweloperów z tego serwisu aukcyjnego o zbudowanie mydełkowego narzędzia do pobierania danych o aukcji oraz o użytkownikach. Ku mojemu wielkiemu zaskoczeniu w ciągu tygodnia takie coś powstało i spisuje się świetnie – jak tylko wrócę do obiegu to zastosuję takie rozwiązanie w świstakowej części AleBota. Jestem pod wielkim wrażeniem elastyczności i otwartości ludzi stojących za swistak.pl

Po trzecie – podła pogoda… :(

Dzisiaj w nocy moduł Allegro działał niepoprawnie – bot przyjmował do wiadomości zlecenia śledzenia aukcji, ale nie sprawdzał cen i nie wysyłał powiadomień. Błąd poprawiony.
Jednak gdy po 6 godzinach niesprawdzania statusów i cen aukcji bot został przywrócony do zycia to od razu wysłał kilkadziesiąt powiadomien. No i został przyblokowany na poł godziny przez filtr antyspamowy gadu-gadu. Ciekawe jak długo… (rzecz jasna AleBot na Jabberze działa bez zarzutu).

Jeżeli jest taka sytuacja jak teraz tzn. AleBot ma status dostępny, ale nie odpowiada na komendy to znaczy, że działa antyspamowa gwardia Dżi-Dżi. Zwykle 30 minut lub godzinę – w tym czasie można dostarczać nowe linki do aukcji dla bota, ale nie dostaniemy potwierdzenia śledzenia czy innych powiadomień. Wiadomości są wysyłane przez bota giną na serwerze gg.

Alebotowy przypominacz został rozbudowany o możliwość nadania zdarzeniu, do którego odliczamy czas, opisu. Na przykład dla komendy:
t:60:Zadzwonić do Jarka
po godzinie AleBot zwróci nam następująca wiadomość:
Upłynął zadany czas timera 60 min. -> Zadzwonić do Jarka

Oczywiście nie ma obowiązku podawania opisu zdarzenia. Jeżeli ktoś uważa że miara w minutach jest zbyt ograniczona to niech użyje tajnej mocy google i sprawdzi np. ile dla przypominacza w AleBocie znaczy jeden dzień lub tydzień.

Użytkownik AleBota o pseudonimie hubcio zauważył, że czasami nie może przeglądać komendą i dodanych wcześniej do śledzenia aukcji. Problem tkwił w zapisie JID, a konkretnie w drugiej jego części – zwykle jest tam nazwa aktualnie wykorzystywanego komunikatora. Otóż aukcja dodana z JID user@server.org/PSI nie była widoczna dla tego samego użytkownika tylko pod innym komunikatorem np.: user@server.org/Gaim

Poprawiłem, ujednoliciłem i dziwie się, że sam tego nie zauważyłem wcześniej.

Poniżej skan fragmentu ostatniej strony z darmowej gazety syndykatu Agora S.A. – Metro, numer z dnia 2007-08-08. Obok niego kilka innych propozycji komputerów przenośnych, często z Linuksem na pokładzie, ale ten jeden mnie zadziwił. Spójrzcie na system operacyjny oferowany z tym komputerem. Jak pamiętam, mój pierwszy pecet w 1996 roku też miał w standardzie zainstalowanego DOS’a (kultowa wersja 6.22), ale nie dostałem z nim oryginalnych dyskietek. Ciekawe czy w tym przypadku dostarczana jest licencja? A może to jakiś FreeDOS? Jakby nie było jestem w szoku.

Za sugestią jednego z użytkowników AleBota, który ukrywa się pod pseudonimem Wesoły, postanowiłem wprowadzić zmianę znacznie zwiększającą wydajność bota.
Od dzisiaj nie wszystkie aukcje sprawdzane są co dwie minuty (wszystkie jednak są weryfikowane – dodawane do śledzenia w takich odstępach czasu). Okres pomiędzy sprawdzeniem ceny/stanu aukcji zależy od tego ile czasu pozostało do jej końca. Przedstawia się to w sposób następujący:

koniec poniżej 24 godzin -> sprawdzanie co 2 minuty
koniec poniżej 2 dni -> sprawdzanie co 30 minut
koniec poniżej 5 dni -> sprawdzanie co 1 godzinę
koniec powyżej 5 dni -> sprawdzanie co 2 godziny

Interwały zostały przyjęte „na wyczucie” – jestem otwarty na propozycje zmian. Trudno w tym momencie przewidzieć jaka jest aktualna wydajność AleBota, gdyż zależy ona w dużej mierze od specyfiki aktualnie śledzonych aukcji. Bez kozery mogę jednak domniemywać, że spokojnie udźwignie on kilka, może kilkanaście tysięcy jednocześnie śledzonych aukcji.

Bardzo przepraszam wszystkich, którzy wczoraj ok. godziny 17:20 utracili wszystkie dodane AleBotowi do śledzenia aukcje. Albo przynajmniej znaczną ich część – z 508 jednocześnie śledzonych aukcji ich liczba spadła do 86! Po analizie logów bota doszedłem do wniosku, że w tym momencie dane o aukcjach zwracane przez WebAPI Allegro zawierały informacje o usunięciu aukcji (i bot je skasował ze śledzenia).
Oczywiście poprawiłem ten błąd w AleBocie, implementowałem dodatkowy system zabezpieczenia aukcji przed przypadkowym skasowaniem.

Jeżeli wysłany AleBotowi link nie będzie rozpoznany jako poprawny link do aukcji Allegro to bot będzie go przechowywał dla użytkownika. Dzięki komendzie l (lub linki) można wyświetlić dziesięć ostatnio dodawanych do przechowywacza linków.

Z moich informacji wynika, że istnieją przynajmniej dwa programy, które spełniają podobne zadania co AleBot. Pierwszy to widget do przeglądarki Opera – Allegro Monitor. Drugim jest Allegro Toolbar wtyczka dla przeglądarki Firefox.

Dlaczego AleBot jest lepszy od tych narzędzi? Po pierwsze: nie wszyscy (niestety) używają Opery czy Firefoxa. Oczywiście nie wszyscy używają Gadu-Gadu, ale z dużym prawdopodobieństwem można przypuszczać, że 99% użytkowników Allegro korzysta z komunikatora internetowego, który jeżeli nie jest natywnym klientem sieci Gadu to posiada rozszerzenie lub transport umożliwiający łączenie się z ta siecią.
Po drugie: AleBot aktywnie powiadamia o zmianie ceny – nie musimy sprawdzać okienka z widgetem Opery, czy zakładki w przypadku Firefoxa – wiadomość o podbiciu oferty pojawi się nam na ekranie w postaci migającej koperty, słoneczka, czy innej ikony. Nie da się tego przeoczyć. O wydarzeniach czasu rzeczywistego powiadamiani jesteśmy za pomocą medium czasu rzeczywistego.
Po trzecie: AleBot, choć ograniczony do funkcji śledzących, wydaje się bardziej elastyczny, ponadto nie musimy niczego instalować lokalnie, a więc odpada potrzeba aktualizowania programu. AleBot zawsze jest w najnowszej wersji. Jego instalacja polega jedynie na dodaniu numeru 10642280 do listy kontaktów. Przy problemie aktualizacji warto zaznaczyć, że AleBot korzysta z WebAPI Allegro, pozostałe dwie wtyczki rozpoznają dane z aukcji przez parsowanie, w więc niezbyt doskonałą metodę.
Po czwarte: AleBot akceptuje linki do aukcji w postaci takiej jakie mamy w przeglądarce, a przynajmniej operowy Allegro Monitor wymaga wpisania samego numeru aukcji.
Po piąte i ostatnie: w niedalekiej przyszłości AleBot będzie wyposażony w absolutnie innowacyjną funkcję dającą zupełnie nową możliwość korzystania z serwisu Allegro. Ale o tym na razie sza!

Podstawową wadą AleBota jest centralizacja usługi – jeżeli serwer, na którym działa bot, jest wyłączony (co zdarza się bardzo rzadko) to całe śledzenie niestety bierze w diabły. Oczywiście podobna sytuacja ma miejsce kiedy leży sieć Gadu-Gadu, ale to na szczęście nie jest tak częsta sytuacja jak kilka lat temu.