Thread by @InfZakladowy

Kilka lat temu we Wrocławiu działała Vozilla, wypożyczalnia samochodów elektrycznych na minuty. Zbankrutowała. Wiedziałem, że to nastąpi, bo od pierwszego dnia działalności śledziłem na bieżąco jej przychody. Oto długi wątek o algorytmicznym białym wywiadzie

Na samym początku zastrzeżenie - była to działalność w pełni legalna. Nie miałem żadnego kreta wewnątrz organizacji, nie naruszałem żadnych przepisów. Byłem po prostu ciekawskim klientem potrafiącym z kąkutery. Oto część pierwsza wątku pt. "Jak to robiłem"

Wypożyczenia w sieci Vozilla były realizowane przez aplikację na smartfony. W aplikacji użytkownik miał do dyspozycji mapę prezentującą lokalizację pojazdów dostępnych do wypożyczenia. Gdy ktoś inny wypożyczył auto, znikało ono z mapy. Gdy zakończył przejazd - auto pojawiało się.

Współrzędne wszystkich dostępnych pojazdów pochodziły z pliku w formacie JSON, który można było pobierać także spoza aplikacji. Nastawiłem więc automat, który pobierał i zapisywał ten plik co minutę. Przez rok, osiem miesięcy i 26 dni. To jakieś 900.000 plików.

Co można wyczytać z takiego zestawu? Spójrzmy na losy pojedynczego auta. Auto znika z mapy i kilkanaście/kilkadziesiąt minut później ponownie pojawia się z niższym stanem baterii? Właśnie zaobserwowaliśmy wypożyczenie! Możemy oszacować przychód wypożyczalni,

nie przekroczy on czasu wypożyczenia pomnożonego przez stawkę minutową. Auto znika na dłużej a stan baterii skokowo rośnie? Właśnie zaobserwowaliśmy jego ładowanie. Gdy ogarniemy spojrzeniem całą flotę, będziemy wiedzieć, ile osób zajmowało się zwożeniem aut do ładowania

oraz ile energii elektrycznej zużywano podczas tego procesu. Wiadomo też, ile wynosi rynkowa cena leasingu jednego Nissana Leaf (Vozilla miała ich 190). Mogłem oszacować górną granicę przychodów i dolną granicę kosztów. Niestety, ten biznes się nie spinał.

Część druga wątku pt. "Czego jeszcze można dowiedzieć się, gdy przez wiele miesięcy gapisz się na mapę wypożyczalni elektryków". Otóż - informacje ukryte w zgromadzonych przeze mnie danych były naprawdę ciekawe.

Sprawdziłem, jak temperatura otoczenia wpływa na zasięg w kilometrach raportowany przez samochody. Widać wyraźnie, że zimą jest on znacząco niższy

Określiłem średni dobowy czas wypożyczania w minutach na jedno auto floty (w pierwszych tygodniach była to setka aut, potem ich liczba rosła)

Godziny szczytu w wypożyczalni Vozilla

Rozkład czasu trwania pojedynczego wypożyczenia

Stan baterii samochodów wycofywanych do naładowania i przywracanych do wypożyczania

Sprawdzałem także, ile samochodów jest trwale unieruchomionych i to, czy kiedyś wróciły do służby

Wnioski z pierwszych kilku miesięcy obserwacji trafiły do 40-stronicowego raportu opublikowanego przez mojego ówczesnego pracodawcę, PGS Software, który sponsorował prace:
informatykzakladowy.pl/wp-content/upl…

Czas na część trzecią wątku czyli: "Jak mogę nauczyć cię przeprowadzania takich analiz". Na pytanie "jak" odpowiadam: skutecznie! Tylko do najbliższego piątku trwa sprzedaż mojego flagowego Szkolenia z automatyzacji pobierania danych z internetu ()scrapowanie.pl

Bardzo dużą część zgromadzonej tam wiedzy wyniosłem właśnie z wielotygodniowych prac nad raportem o Vozilli.
Na szkolenie składa się
📼 10 godzin nagrań wideo
🖼️ 305 slajdów podzielonych na 15 rozdziałów
💰 dwie zniżki-niespodzianki
🎙️ jeden wywiad z radcą prawnym

Zakres Szkolenia jest taki, jak na slajdach poniżej - skupiamy się na pozyskaniu danych ze źródeł internetowych oraz ogarnięciu strategii ich składowania i wstępnego przetworzenia.

Oto skrócony spis treści, jego rozwinięcie znajdziecie na stronie . Poniżej zwrócę uwagę na kilka elementów, które stanowią o unikalności szkolenia i potwierdzają, że zawarłem tam mnóstwo wiedzy wynikającej z praktyki, nie teorii! scrapowanie.pl

W rozdziale drugim nie próbuję udawać, że znam się na prawie, tylko przez 20 minut wypytuję o legalność scrapowania radcę prawnego Mirelę Perczak

W rozdziale trzecim przypominam podstawy protokołu HTTP, ale wskazuję też że prosty timeout to tak naprawdę sześć lub siedem osobnych scenariuszy. Przy odpowiednio dużej skali doświadczysz każdej z tych sytuacji.

Czasem nie mogę się powstrzymać i przemycam trochę wiedzy niepotrzebnej, ale bardzo ciekawej!

Yo Dawg, lubisz format JSON? Możesz go lubić mniej, gdy się dowiesz, że pośród kilkudziesięciu parserów JSON nie ma dwóch jednakowo traktujących przypadki brzegowe

Przykładów pt. "ja tak zrobiłem i żałowałem" jest w szkoleniu więcej

No elo

Potraficie z głowy powiedzieć, jak działają prefiksy kluczy w S3 i jaki mają wpływ na wydajność operacji? Jeśli jest to dla ciebie "znana niewiadoma", poradzisz sobie. Jeśli jest to "nieznana niewiadoma", możesz nie rozumieć, dlaczego nagle chmura AWS jest tak wolna.

To prawie tak proste, jak rzucanie palenia.

Wspominałem, że są przykłady z życia...

... oraz analiz na blogu Informatyk Zakładowy?

Nie waham się odsyłać do najlepszych edukatorów jacy są! @KacperSzurek!

@KacperSzurek Wracając do tematu - po przerobieniu Szkolenia z automatyzacji pobierania danych z internetu będziesz w stanie samodzielnie przeprowadzać operacje pobierania, organizacji, składowania i wstępnej obróbki dużych oraz małych zestawów danych.

@KacperSzurek Vozilla to tylko jeden przykład - scrapowałem też przez prawie dwa lata Traficara. Zgromadziłem milion plików i miliard punktów danych, przepuściłem przez algorytmy uczenia maszynowego i dowiedziałem się, jaki wpływ na utylizację floty ma sezonowa zmienność

@KacperSzurek wynikająca z trendów długoterminowych, wakacji i świąt, dni tygodnia, czy pory dnia (w weekendy i dni robocze). Tę analizę możecie przeczytać po angielsku tutaj: xebia.com/blog/machine-l…

@KacperSzurek Jeśli Szkolenie cię zainteresowało, ale nie masz pewności, czy będzie ci odpowiadał styl narracji albo poziom zaawansowania - daję gwarancję satysfakcji! Przez dwa tygodnie od zakupu możesz dokonać bezwarunkowego zwrotu. Możesz nawet przerobić całe szkolenie!

@KacperSzurek Jeśli dojdziesz do wniosku, że nie były to dobrze wydane pieniądze, wystarczy jeden mail a ja koryguję fakturę do zera i zwracam Ci całą kasę.

@KacperSzurek No i tak wygląda cały ten biały wywiad. Nieźle, nie? Wpatrujemy się w mapę a w efekcie wiemy, ilu pracowników zajmuje się obsługą floty i ile przychodu przynosi każde auto. Jeśli chcesz tak umieć, to wiesz, gdzie kliknąć.

@KacperSzurek A sama Vozilla? Nigdy nie osiągnęła rentowności, zaś gwoździem do trumny była pandemia COVID. Działalność wypożyczalni zakończyła się 30 kwietnia 2020.

(wątek Ci się spodobał? rozważ lajka lub RT 🙃)

@KacperSzurek Ciąg dalszy tu:

https://x.com/InfZakladowy/status/1907109335655739436