Chráňte svoj web pred zlodejmi obsahu

Povedzme, že ste online dodávateľom použitej elektroniky. Vaše podnikanie závisí od toho chlapa, ktorý chce, aby použitý iPad našiel vaše skvelé ceny. Neboli by ste však takí šťastní, keby konkurent zachytil celý váš cenník, aby svoje ceny porazil len tak . Ako môžete povoliť úplný prístup pre používateľov a zároveň zabrániť veľkoobchodnému škrabaniu vášho obsahu? Môžete použiť ScrapeDefender, cloudové riešenie proti poškriabaniu, ktoré bolo vydané dnes. Hovoril som s Robertom Kane, výkonným riaditeľom spoločnosti ScrapeDefender, o tom, ako produkt funguje.

Kto to potrebuje?

„Už spolupracujeme s leteckými spoločnosťami, spotrebnou elektronikou, finančnými trhmi a viac ako zákazníkmi vo verzii beta, “ povedal Kane. „Akákoľvek webová stránka, ktorá zverejňuje veľa dôležitého obsahu, cenníky, nehnuteľnosti… všetok tento obsah je možné hromadne zbierať.“ Kane poukázal na to, že zatiaľ čo niektorí zošrotovači používajú jednoduché skripty, iní sa pokúšajú maškarádovať ako ľudí zachytením stránky pomalšie alebo pomocou viacerých robotov. „Výzvou pre majiteľov je, ako môžem preniknúť svetu a zabrániť neoprávneným robotom, “ uzavrel Kane.

Tu prichádza program ScrapeDefender. „Náš monitor je pasívnym nástrojom, napríklad Google Analytics, “ povedal Kane. „Na svoje stránky vložíte jeden riadok kódu, ktorý nám umožní sledovať ho 24 hodín denne, 7 dní v týždni. Iba jeden riadok kódu v hlavičke webovej stránky. Keďže je pasívny, nemá žiadny vplyv na vašu produkčnú sieť.“

Online informačný panel

Zákazník ScrapeDefender si môže zobraziť prehľad všetkých blokovaných škrabacích aktivít, ale môže tiež hlboko vyťažiť ďalšie podrobnosti. Kane demonštroval tento systém a ukázal mi druhy aktivít, ktoré zvyšujú červenú vlajku. Mnohé sú celkom jednoduché. IP adresa stierača má tendenciu robiť omnoho viac návštev na webe a prístupov na stránky ako človek a má sklon zostať na akejkoľvek stránke len veľmi krátky čas. Aj keď sa snaží ísť pomaly a vyhnúť sa detekcii, je viditeľný vzorec. Návštevy ľudí zvyčajne prichádzajú s poľom sprostredkovateľa; návštevy škrabaním roboty nikdy nerobia. Všetky tieto kritériá prispievajú k celkovému skóre rizika; dostatočne vysoké skóre takmer vždy identifikuje škrabanie.

„Sofistikované škrabky používajú viac adries IP, “ poznamenal Kane. „Používame digitálny odtlačok prsta, aby sme spojili relácie súvisiace s reláciami, aj keď je IP iná. Môže to byť skript bežiaci na rôznych počítačoch alebo na rôznych virtuálnych počítačoch, ale odtlačok prsta je rovnaký.

Škrabka, žiadne škrabanie!

Spýtal som sa, čo sa stane, keď bude škrabka identifikovaná. „Robíme to dvoma spôsobmi, “ povedal Kane. „Ponúkame bezpečnostný modul, ktorý ich môže blokovať. Zistili sme však, že organizácie, s ktorými pracujeme, majú nainštalovaný vlastný firewall. Takže máme rozhranie API, ktoré môže odoslať podozrivé adresy IP na ich bránu firewall."

Čo to stojí? Ceny začínajú na 79 USD mesačne a prispôsobujú sa webovým stránkam akejkoľvek veľkosti. „Niekto nás kontaktoval minulý týždeň, “ povedala Kane, „o webovej stránke s 25 miliónmi zobrazení stránky… denne ! Podporujeme ju.“

Spoločnosť vykoná kontrolu na približne 150 zraniteľnostiach súvisiacich so škrabancami pre nového zákazníka, ale ktokoľvek môže spustiť bezplatnú kontrolu, ktorá skontroluje ich podmnožinu. Navštívte webovú stránku ScrapeDefender a zadajte názov domény. Za pár minút dostanete odpoveď.

Budúcnosť

„Podľa môjho názoru, “ povedal Kane, „teraz je antiscraping podobný starému antivírusovému biznisu. Je to obrovská príležitosť. Každý to bude musieť mať.“ Poukázal na to, že Snapchat mohol túto technológiu použiť na zabránenie zberu údajov o 4, 6 milióna používateľov, čím by zabránil nedávnemu nárastu spamu v Snapchat.

„CAPTCHA nie je riešením, “ povedal Kane. „Aj keby to fungovalo, nepočuli o farmách CAPTCHA? Skutočným riešením je pozerať sa na správanie a blokovať škrabanie.“

Zostáva ešte zistiť, či sa dostatok vlastníkov webových stránok rozhodne platiť za riešenie proti poškriabaniu. Budem sledovať, ako sa tento hrá.