Pes a jeho blog na ČSFD: ako funguje ochrana Anubis

Stránka s blogom „Pes a jeho blog“ na ČSFD môže používateľovi zobraziť ochrannú stránku Anubis namiesto požadovaného obsahu.

Anubis je dočasné riešenie, ktorého cieľom je sťažiť automatizované sťahovanie veľkého množstva stránok a zároveň umožniť viac času venovať identifikácii bezhlavých prehliadačov.

Prečo sa zobrazuje overenie Anubis

Myšlienka spočíva v tom, že pri jednotlivých návštevách je dodatočné zaťaženie zanedbateľné, no pri hromadnom používaní scraperov sa kumuluje a automatizované získavanie údajov výrazne predražuje.

Anubis preto môže pred načítaním stránky vyžadovať vykonanie úlohy proof of work. Používateľský prehliadač pri nej vykoná krátky výpočet, ktorý má odlíšiť bežnú návštevu od rozsiahleho automatizovaného sťahovania obsahu.

ochrana webu pred automatizovaným scrapingom

Úloha proof of work

Dodatočné zaťaženie je pri individuálnych návštevách zanedbateľné.

Pri masovom scrapovaní sa však toto zaťaženie sčítava a robí scraping oveľa nákladnejším.

Takéto riešenie nepredstavuje definitívny spôsob rozpoznávania všetkých automatizovaných nástrojov. Ide o dočasné riešenie, ktoré má vytvoriť priestor na ďalšiu prácu pri odhaľovaní a identifikácii bezhlavých prehliadačov.

Identifikácia bezhlavých prehliadačov

Anubis má umožniť venovať viac času fingerprintingu a identifikácii bezhlavých prehliadačov, aby sa stránka s challenge proof of work nemusela zobrazovať používateľom, pri ktorých je oveľa pravdepodobnejšie, že sú legitímni.

Jedným z uvedených príkladov identifikácie je spôsob vykresľovania fontov. Spôsob, akým prehliadač vykresľuje písmo, môže pomôcť pri rozlišovaní bežného používateľa od automatizovaného alebo bezhlavého prehliadača.

Sila prehliadača Chrome bez hlavy a automatizácie prehliadača (Google I/O '18)

Kompatibilita s moderným JavaScriptom

Anubis vyžaduje používanie moderných funkcií JavaScriptu.

Rozšírenia, ako je JShelter, tieto funkcie deaktivujú.

V dôsledku toho nemusí ochranná stránka Anubis v prehliadači s aktívnym JShelter fungovať správne alebo nemusí byť možné úspešne dokončiť overenie.

Čo to znamená pre návštevníka blogu

  • Stránka môže najprv zobraziť challenge proof of work namiesto obsahu blogu.
  • Prehliadač musí podporovať moderné funkcie JavaScriptu.
  • Rozšírenia deaktivujúce moderný JavaScript môžu zabrániť úspešnému overeniu.
  • Ochranná vrstva je zameraná najmä na obmedzenie hromadného scrapovania.
  • Pri legitímnych návštevníkoch má byť challenge postupne nahradená presnejšou identifikáciou automatizovaných prehliadačov.

Prečo môže byť stránka blogu dočasne nedostupná

Ak prehliadač nepodporuje potrebné moderné funkcie JavaScriptu alebo ich blokuje rozšírenie, používateľ nemusí prejsť overením Anubis.

Rovnaký problém môže nastať v prostredí, ktoré sa správa ako bezhlavý prehliadač alebo nedokáže správne vykonať požadovaný výpočet.

Ochrana tak nehodnotí iba samotnú adresu blogu, ale aj vlastnosti prehliadača a spôsob, akým požiadavku vykonáva.

Vzťah medzi ochranou a prístupom k obsahu ČSFD

Ochranná stránka Anubis nemusí znamenať, že blog „Pes a jeho blog“ bol odstránený alebo že je obsah trvalo nedostupný.

Často ide o medzivrstvu, ktorá má pred načítaním požadovanej stránky overiť, či návšteva pochádza od legitímneho používateľa, a nie od nástroja určeného na hromadné získavanie údajov.

Ak overenie prebehne úspešne a prehliadač poskytuje požadované moderné funkcie JavaScriptu, používateľ môže pokračovať k obsahu stránky.

tags: #pes #a #jeho #blog #csfd