Ako interpretujeme antivírusové laboratórne testy

Funguje váš antivírus? Pravdepodobne nechcete prepustiť živý vírus len na kontrolu. Nezávislé testovacie laboratóriá na svete sa našťastie snažia čo najlepšie odpovedať na túto otázku bez toho, aby vás ohrozili.

Laboratóriá

Aby som získal predstavu o tom, ako dobre fungujú rôzne antivírusové produkty, nasledujem šesť konkrétnych testovacích laboratórií. Všetky tieto laboratóriá pravidelne vykonávajú testy a výsledky, na ktoré sa spolieham, sú voľne dostupné verejnosti.

Dodávateľ zabezpečenia platí za to, aby laboratóriá ICSA a laboratóriá západného pobrežia testovali a certifikovali svoje výrobky. V rámci služby laboratórium spolupracuje s predajcom na náprave všetkých porúch. Konkrétne sa zameriavam na certifikácie na zisťovanie škodlivého softvéru a čistenie škodlivého softvéru.

Ctihodný vírusový bulletin vykonáva mesačné detekčné testy a udeľuje certifikáciu VB100 produktom, ktoré detegujú všetky ich vzorky „divého zoznamu“. Nezabúdajte však, že aj jeden chybný pozitívny program (platný program detekovaný ako malware) stačí na zlyhanie produktu. Z tohto dôvodu sa pozriem na percento úspešnosti za posledných dvanásť mesiacov.

AV-Test so sídlom v Magdeburgu v Nemecku pravidelne hodnotí antivírusové produkty v troch oblastiach: ochrana, výkon a použiteľnosť. Ochrana sa vzťahuje na potlačenie útokov škodlivého softvéru, výkon sa týka minimalizovania využívania systémových prostriedkov a použiteľnosť zahŕňa množstvo faktorov vrátane falošných pozitív. So šiestimi možnými bodmi v každej kategórii je maximálny možný počet bodov 18.

AV-Comparatives vykonáva širokú škálu testov, niektoré s pomocou a podporou rakúskej vlády. Test detekcie súborov meria statickú detekciu aj detekciu po spustení. Podobný test využívajúci zastarané definície škodlivého softvéru sa pokúša zmerať účinnosť proti útokom v deň nula. A mesačný dynamický test vyzýva každý produkt, aby odolal infekcii najnovším škodlivým softvérom. Výrobky, ktoré prechádzajú, sú hodnotené ako ŠTANDARDNÉ; lepšie výrobky môžu získať hodnotenie ADVANCED alebo ADVANCED +.

Výskumníci v londýnskych technologických laboratóriách Dennis Technology Labs veľmi tvrdo pracujú na simulácii skúseností používateľov v reálnom svete. Identifikujú malvér na webe, zachytávajú celý škodlivý web a replikujú ho v kontrolovanom prostredí, takže každý produkt zažije rovnaký útok. S ohľadom na ochranu aj nedostatok falošných pozitív môžu výrobky získať certifikáciu na piatich úrovniach: AAA, AA, A, B a C.

Čo to všetko znamená?

V minulosti som zhrnul skutočné laboratórne výsledky, ale výsledok nebolo také ľahké interpretovať. V jednom stĺpci 3.0 bolo najvyššie skóre, zatiaľ čo v ďalšom 3.0 bolo hrozné. Ďalšie stĺpce môžu obsahovať „100%“ alebo „Y“. Upravil som graf tak, aby namiesto toho sumarizoval výsledky do piatich kategórií: Detekcia, Čistenie, Ochrana, Falošné Pozitívy a Výkon, spolu s celkovým súhrnným skóre. Kliknutím sem zobrazíte príklad.

Najťažšie je, že všetky laboratóriá testujú rôzne kolekcie výrobkov a rôzne čísla. AV-Test AV-Comparatives zvyčajne zahŕňa 20 až 25 produktov v testovacej prevádzke, zatiaľ čo Dennis Labs má tendenciu robiť viac ako osem alebo desať. Musím sa vyrovnať iba s tým, ktoré údaje sú k dispozícii, a vážiť rôzne testy podľa môjho subjektívneho dojmu o ich hodnote.

Moje detekčné hodnotenie vychádza z testu VB100 a dvoch testov detekcie súborov od spoločnosti AV-Comparatives. Získanie certifikácie na detekciu od laboratórií ICSA a laboratórií West Coast Labs môže zvýšiť hodnotenie produktu, ale jeho nechytenie ho nestiahne.

AV-Comparatives spúšťa test čistenia škodlivého softvéru, ktorý veľmi špecificky kontroluje, ako dobre produkty odstraňujú škodlivý softvér, ktorý zistia. Zaradím to do svojho hodnotenia čistenia s možným zvýšením, ak West Coast a ICSA Labs certifikujú technológiu dodávateľa na čistenie škodlivého softvéru. AV-Test diskutoval o podobnom teste špecifickom pre čistenie; Pridám ho, keď bude k dispozícii.

Test Dennis Labs v reálnom svete sa týka ochrany pred útokom škodlivého softvéru, ako aj dynamický test spoločnosti AV-Comparatives. Pozerám sa na oboje z hľadiska stupňa ochrany, ako aj z hľadiska ochrany z programu AV-Test.

AV-Comparatives testuje dopad rôznych bezpečnostných produktov na výkon systému; Trojdielna analýza AV-Testu obsahuje výkonnú zložku. Obaja idú do môjho hodnotenia výkonnosti.

Falošné pozitíva môžu byť skutočným problémom; Ak váš antivírus udržiava v karanténe najnovšie hry, pravdepodobne ho vypnete. Dennis Labs volá osobitné falošné pozitívne skóre, ktoré používam pri hodnotení falošne pozitívnych výsledkov. Beriem tiež na vedomie, ak produkt pri niektorom z testov spoločnosti AV-Comparatives stratil ratingovú úroveň v dôsledku falošne pozitívnych výsledkov. Nakoniec zmiešam použiteľnú zložku z AV-Testu.

Perfektné? nie

Niektorí predajcovia určité testy neschvaľujú. Štýl obrany spoločnosti Webroot proti úplne novým hrozbám nie je kompatibilný s niektorými testami. Spoločnosť Symantec uviedla, že statické testy majú malú hodnotu a užitočné informácie poskytujú iba dynamické testy celého produktu. Niektorí sa rozhodnú nezúčastniť sa vôbec alebo sa zúčastniť na tak malom počte testov, že nie je možné žiadne celkové hodnotenie.

Napriek tomu je tu veľa toho, čo sa tu musíme naučiť. Produkt, ktorý získava päť hviezdičiek zo všetkých strán, robí niečo v poriadku. Ten, ktorý detekuje esá, ale nedokáže vyčistiť, pravdepodobne nie je tou správnou voľbou na vykorenenie existujúceho napadnutia škodlivým softvérom. Pri spracovaní tohto systému som určite vyladil svoju vlastnú interpretáciu.