szewczykway

Wysłałem do Allegro zapytania takiej treści:

Witam,
Jak wiadomo serwisowi www allegro zdarza się czasami nie działać – np. nocne konserwacje i inne tego typu zjawiska…
Interesuje mnie: czy interface WebAPI funkcjonuje w okresach takich przerw w działaniu serwisu?

Pozdrawiam,
Kamil Szewczyk

Odpowiedź uzyskana prawie dokładnie 24 godziny później brzmiała:

Witam,
Dziękuję za wiadomość.

Uprzejmie informuję, że interfejs WebApi korzysta z bazy danych serwisu Allegro. W związku z tym w chwilach niedostępności naszego serwisu również WebApi nie działa prawidłowo.

Pozdrawiam serdecznie.
Katarzyna Gałek
Zespół Allegro

Tak więc uprzedzam, że i AleBot będzie milczał w okresach ciszy na www.allegro.pl, ale informuję, że z rozpaczy nie pokasuje wszystkich aukcji jak to mu się zdarzało we wcześniejszej fazie rozwoju.

Bot, po pracowitym weekendzie, przeszedł diametralną zmianę – koniec ze ściąganiem treści każdej śledzonej aukcji – od dzisiaj AleBot aktualizuje dane za pomoca WebApi udostępnianego przez serwis Allegro. Technologię obsługuje skrypt Perl’a za pośrednictwem modułu SOAP::Lite i czyni to znacznie szybciej, stabilniej oraz pewniej niż tandem wget/regexp. Zmiany w sposobie serwowania danych przez Allegro nie są już groźne dla stabilności AleBota. Wydolność śledcza zwiększyła się do ok. 700 aukcji – to tylko teoretyczna kalkulacja, a jak jest w praktyce będzie mi dane przekonać się już w tym tygodniu.

Ponadto dla potrzeb promocyjnych skompilowałem logo/banner/button dla bota. Podoba się?

Liczba użytkowników którzy rozmawiali z botem: 102
Łączna liczba śledzonych aukcji: 408
Średni czas sprawdzania aktualnych cen dla 50 aukcji: 17 sekund
Komenda stat użyta była 65 razy
Komenda help/pomoc użyta była 174 razy
Komenda uptime użyta była 58 razy
Komenda info użyta była 177 razy

Zainteresowanie AleBotem rośnie wraz ze wzrostem stabilności skryptu. Ta ostania jest już na zadawalającym poziomie, jednak pozostało jeszcze kilka czarnych dziur do załatania. Dziękuję wszystkim, którzy zechcieli go wypróbować.

Przesiąknięty letnią naiwnością nieskromnie uznałem, że dwa z moich projektów są na tyle interesujące, iż warto uruchomić jakiś kanał zwrotny dla użytkowników. I tak powstało forum, dzięki uprzejmości wordpress’owej wtyczki RS-discus. Zainteresowani proszeni są o głosy opiniotwórcze w sprawach AleBota, słowników Xlatora i we wszystkich innych.

Po drugie i na marginesie: znalazłem dzisiaj w logach wejście na bloga z domeny *.polkomtel.com.pl (Firefox, Windows XP) poprzez wyszukiwarkę google.pl wg słów kluczowych: wyszukiwanie substring w perlu. Jeżeli szukają skrypciarza to niech po prostu napiszą do mnie maila…

Co prawda projekt ma dopiero 4 dni, ale wydaje się, że uzyskał już pełną funkcjonalność, więc ogłaszam światu jego otwarcie. W skrócie: jest to robot, który informuje nas za pomocą sieci gadu-gadu o zmianach w aktualnej cenie wybranej aukcji allegro. Szerzej temat został omówiony na tej stronie. Ale można też od razu zagadać do numeru 10642280.

Jak to działa? Rolę kontaktu z użytkownikiem pełni ekg (Eksperymentalny Klient Gadugadu) wsparte skryptem napisanym w pythonie. Przyjmuje on zgłoszenia od użytkowników i reaguje na zaimplementowane komendy wewnętrzne. Sercem AleBota jest skrypt w perlu, uruchamiany z crona co dwie minuty. Można to streścić w następujący sposób:
1. ekg przekazuje wiadomość od użytkownika do skryptu pythona
2. python sprawdza czy wiadomość jest linkiem do aukcji, jeżeli tak to zapisuje ją do bazy danych (mysql), jeżeli nie, to ew. interpretuje jako komendę.
3. cron odpala skrypt perla – tenże sprawdza co nowego pojawiło się w bazie danych, wgetem ściąga treść aukcji, wyciąga z niej interesujące informacje i uzupełnia rekord w bazie danych (numer, nazwa, cena oraz kiedy się aukcja zakończy)
4. skrypt ten przy okazji sprawdzi wszystkie inne otwarte aukcje – jeżeli nowa cena jest różna od starej lub do zakończenia aukcji pozostało mniej niż 10 minut to za pomocą najzwyklejszego echo wysyła właściwy komunikat do potoku ekg, a ten odbierany jest przez użytkownika.
5. zakończone aukcje są kasowane z bazy.

Właśnie dostałem z numeru gg:4026260 nastepującą wiadomość:

Wiadomość od Gadu-Gadu:
Jeśli nie zgłosiłeś się do testów mobilnego klienta Gadu-Gadu to zignoruj proszę tą wiadomość.

Informujemy, że niestety nie zakwalifikowałeś się do testów mobilnego klienta Gadu-Gadu.

Nie przejmuj się, bo już niedługo będzie dostępna aplikacja dla wszystkich użytkowników.

Wiadomość wysłana automatycznie. Prosimy na nią nie odpowiadać.

pozdrawiamy,
mobilne Gadu-Gadu

i mimo wszystko przykro mi się zrobiło.

Główne zmiany:
- aktualny stan bazy stoklatka.pl,
- porawiony algorytm parsowania (usunięte śmieci i niepotrzebne dane),
- zawartość słownika jest posortowana,
- z indeksu wyszukiwania (T9) usunięte zostały cyfry, należy wpisywać szukane hasło i pominięciem takich znaków. Np: szukając filmu „40 dni i 40 nocy” piszemy: „dniinocy”.

xlator_stopklatka.xv2.zip

Jest pewien trend pośród czynnych użytkowników odtwarzaczy MP3 w postaci telefonów komórkowych z Symbianem. Polega on na tym, że w pierwszym okresie testujemy wszystkie dostępne odtwarzacze plików muzycznych po to, by po kilku dniach czy tygodniach wrócić do standardowego odtwarzacza systemowego. Tak było i w moim przypadku, z tym, że nie używam defaultowego playera z mojej N6630 – zamieniłem go na inny produkt Nokii, odtwarzacz z modelu N90. Prosty w obsłudze, mało procesorożerny, czysto grający i pozbawiony wszelkich wodotrysków. Dziwnym trafem developerzy z Nokii jednak nie przewidzieli, że ktoś może go chcieć zainstalować na karcie pamięci – odtwarzacz bez pytania dokuje się na dysku C:
Prezentowana przeze mnie instalka Nokia N90 Music Player 1.53 domyślnie wgrywa się na dysk E: – dodatkowo pozbawiona została plików z niepolskimi wersjami językowymi. Waży trzykrotnie mniej.

Jakby jeszcze ktoś nie zauważył zaangażowałem się ostro w budowanie baz danych do Xlatora. A co to takiego? To bardzo prosty, ale wydajny sposób przechowywania, wyszukiwania i prezentacji danych w telefonie komórkowym wyposażonym system operacyjny Symbian (dowolna wersja). Oto lista aktualnie dostepnych słowników:

English-Polish – 26.882 haseł
Polish-English – 27.266 haseł
German-Polish – 42.856 haseł
Polish-German – 38.460 haseł
English-Spanish – 27.228 haseł
Spanish-English – 28.476 haseł
US English-Polish – 75.330 haseł
Polish-US English – 56.940 haseł
German-English – 11.921 haseł
English-German – 19.327 haseł
Encyclopedia PWN – 104.310 haseł
English thesaurus – 8.387
Big American thesaurus – 70.000 haseł
slownik ortograficzny PWN – 12.4861 haseł
slownik jezyka polskiego PWN – 72.934 haseł
tablica znakow ASCII
Polski Słownik Alternatywny – 499 haseł
slownik wyrazów obcych PWN – 11.587 haseł
slownik hiszpańsko-polski – 50.000 haseł
slownik polsko-hiszpański – 50.000 haseł
koniugacje hiszpańskie – 1.000 haseł

Można je ustrzelić tutaj lub tutaj. Słowniki zestawione przeze mnie to:

Polski słownik do gier typu Scrabble – 2.715.204 haseł
Polski słownik synonimów – 43.171 haseł
Katalog filmów (stopklatka.pl) – 8.560 haseł
Tablice rejestracyjne – 411 haseł
Słownik terminów informatycznych i pokrewnych – 4.462 hasła

Można je ściągnąć z tej strony: kasze.ijon.info/index.php/xlator.

Tak było, a tak jest. Warte zachodu?