Mnoho bezpečnostných balíkov zvyšuje ochranu v reálnom svete

Výskumní pracovníci v AV-komparátoch so sídlom v Innsbrucku neúnavne pracujú, aby otestovali ochrannú silu bezpečnostných balíkov čo najbližšie k zážitkom používateľov v skutočnom svete. Každý deň podrobujú takmer dvadsať apartmánov skutočným útokom škodlivého softvéru pomocou automatizovaného systému na zaznamenanie toho, ako dobre produkt obstál pri teste. Počas posledných šiestich mesiacov prešli cez 3 000 testovacích prípadov. Polročné výsledky sú už od poslednej správy a impozantný počet výrobkov sa zlepšil.

Dôležitosť veľkosti vzorky

Je intuitívne zrejmé, že test, ako je tento, získa presnejšie výsledky pri väčšej sade vzoriek, ale tentokrát okolo AV-Comparatives jasne vysvetlil dôsledky príliš malej vzorky. Štatistika obsahuje jednoduchú samostatnú správu, ktorá je trochu prekvapujúca.

Predpokladajme, že konkrétny produkt zistil 80 percent zo súboru 10 000 vzoriek škodlivého softvéru. Predpokladajme, že z tej istej zbierky vyberiete náhodne len desať vzoriek. Pomocou grafu všetkých možných výsledkov správa ukazuje, že takmer rovnaká pravdepodobnosť je dosiahnutá rovnaká miera detekcie, vyššia miera detekcie alebo nižšia miera detekcie. Áno, zníženie na desať vzoriek je extrémnym prípadom, ale určite to má zmysel.

Skúšobné metódy

Vedecký tím zhromažďuje pomocou automatizovaných a manuálnych metód vyhľadávania každý deň škodlivé adresy URL v skutočnom svete. Konkrétne vyberajú kombináciu priamych odkazov na súbory škodlivého softvéru a webové stránky na prevzatie prostredníctvom jednotky. Postupne prechádzajú dennými vzorkami, vystavujú súčasne všetky produkty konkrétnej adrese URL a sledujú, ako každý produkt reaguje. Ak niektorá súčasť balíka odstraňuje škodlivý softvér, je to úspech. Ak malware prekĺzne a nastaví upratovanie, je to chyba.

Suite sa niekedy objaví s upozornením, že niečo našlo, a požiada používateľa, aby ho zablokoval alebo povolil. Na účely testovania sa analytici AV-Comparatives vždy rozhodnú túto akciu povoliť. Produkt, ktorý napriek tejto akcii úspešne obhajuje systém, získa plný kredit; produkt, ktorý umožňuje zneužitie systému z dôvodu nesprávnej voľby používateľa, získa polovičný kredit.

Po dokončení konkrétneho testovacieho prípadu sa všetky testovacie systémy znova zobrazia späť do stavu pred škodlivým softvérom a sú pripravené na ďalší testovací prípad.

Falošné poplachy

K falošnému pozitívnemu výsledku dôjde, keď bezpečnostný softvér omylom zablokuje prístup k legitímnemu súboru alebo webovej stránke. Je zrejmé, že nechcete, aby váš bezpečnostný balík vymazal platné súbory alebo vás držal ďalej od neškodných webových stránok. Spoločnosť AV-Comparatives testovala každý produkt s približne tisíckou náhodne zvolených domén a so stovkou nových a populárnych programov. Na účely testovania stiahli každý program z webu vývojára, nie z portálu sťahovania.

V správe sa uvádza, že štatistické analýzy a analýzy bezpečnosti založené na reputácii často blokujú alebo upozorňujú na úplne nové programy a weby. Uvádza sa v nej: „Aj keď také techniky ochrany… pomáhajú dosahovať vysoké skóre produktu… to môže tiež viesť k detekcii / blokovaniu nevinných / čistých súborov a adries URL len preto, že sú… príliš nové.“ Norton, silný podporovateľ tohto typu detekcie, sa nezúčastňuje testovania AV-Comparatives.

Veľa zlepšenia

Viac ako polovica výrobkov zahrnutých v tejto správe získala lepšiu skóre ako v predchádzajúcom vydaní tejto správy. Vipre, McAfee a Fortinet všetci naposledy zlyhali, dokonca ani nezískali ŠTANDARD, najnižšiu známku absolvovania. Tentoraz Fortinet a McAfee ohodnotili ADVANCED a Vipre sa dostali na ŠTANDARD. Všetci traja mali znížené hodnotenie kvôli falošným pozitívom; na základe detekcie by McAfee a Fortinet ohodnotili ADVANCED +, najvyššie hodnotenie.

eScan skočil z STANDARD na ADVANCED +, zatiaľ čo avast!, ESET a Trend Micro sa presunuli z ADVANCED do ADVANCED +. Niekoľko ďalších, ktorí predtým hodnotili STANDARD, tentokrát spravilo POKROČILÉ hodnotenie.

Bitdefender v nezávislých laboratórnych testoch pravidelne získava najvyššie skóre. Len na základe detekcie škodlivého softvéru by hodnotila ADVANCED +, ako tomu bolo minulý rok, ale falošné poplachy ju zničili na ADVANCED. To isté sa stalo F-Secure a BullGuard.

Dynamický test celého produktu AV-Comparatives patrí medzi najnáročnejšie testy, s ktorými som sa stretol. Nie je preto prekvapujúce, že sa laboratórium spolieha na podporu z univerzity v Innsbrucku a od rakúskej vlády. Je to veľa práce, ale konečným výsledkom je test, ktorý sa veľmi približuje tomu, ako dobre produkt ochráni používateľov v skutočnom svete.