Spoločnosť Microsoft vyvracia zlyhanie antivírusového testu

Práca v Microsoft Malware Protection Center musí byť náročná. Vaša spoločnosť je tu jednou z najväčších na svete, ale malé (ale dobre známe) antivírusové testovacie laboratórium v ​​Nemecku hovorí, že váš antivírusový softvér neodstráni horčicu. Nie len raz, ale dvakrát za posledných pár mesiacov, spoločnosť Microsoft nezískala osvedčenie od spoločnosti AV-Test.

Joe Blackbird, programový manažér v centre, vysvetlil v blogu, že neúspech tohto testu neznamená, že používatelia spoločnosti Microsoft nie sú chránení.

Transparentnosť pri testovaní

V súlade so zásadami AMTSO sa spoločnosť AV-Test nijako netají s metodikou použitou pri vykonávaní svojich prebiehajúcich certifikačných testov. To znamená, že Blackbird mohol skontrolovať a overiť, prečo neprešiel Microsoft Security Essentials.

Test dáva rovnakú váhu trom prvkom zabezpečenia: ochrana (zabránenie nového škodlivého softvéru pred napadnutím čistého systému), oprava (odstránenie škodlivého softvéru, ktorý už existuje), a použiteľnosť (vykonanie úlohy bez spomalenia systému alebo nepravdivé obviňovanie platných programov). Microsoft urobil OK v oblasti opráv a použiteľnosti, ale dostal len 1, 5 zo 6 možných bodov na ochranu.

Nie je to skutočný svet?

Hlavným tvrdením spoločnosti Blackbird je, že tento test neodráža skúsenosti zákazníkov spoločnosti Microsoft v reálnom svete. Podľa spoločnosti AV-Test Microsoft premeškal 28 zo 100 hrozieb v nultý deň. Telemetria spoločnosti Microsoft však ukazuje, že „99, 997% našich zákazníkov, ktorí boli zasiahnutí akýmkoľvek 0-dňom, sa nestretli so vzorkami škodlivého softvéru testovanými v tomto teste.“ Upozorňujeme, že nehovorí o 99, 997 percentách všetkých zákazníkov. Hovorí, že z tých, ktorí narazili na hrozbu nulového dňa nejakého druhu, iba 0, 003% narazilo na hrozbu, ktorú AV-Test skutočne použil.

Je to však nevyhnutne obvinenie z testovacej metódy? Pozrime sa na to naopak. Nulové útoky sa vyskytujú neustále, v obrovskom počte. Ak 0, 003 percent predstavuje iba jedného zákazníka, potom sa s takýmto útokom stretlo 300 000 zákazníkov. Počet by samozrejme mohol byť väčší. AV-Test vybral náhodnú vzorku 100 a náhodou zistil 28, ktoré spoločnosť Microsoft nedokáže zistiť. Znie to trochu zle, však?

Microsoft tiež zmeškal 9 percent z 216 000 súborov v kolekcii „nedávny malware“, ale, ako povedal, Blackbird, zmeškané vzorky „nepredstavujú to, s čím sa naši zákazníci stretávajú. Keď sme tieto súbory výslovne hľadali, nemohli sme ich nájsť v našej zákaznícke stroje. ““

Prioritizácia zameraná na zákazníka

„V decembri 2012, “ pokračoval Blackbird, „sme spracovali 20 miliónov nových potenciálne škodlivých súborov a pomocou telemetrie a dopadu na zákazníka sme tieto súbory uprednostnili a pridali ochranu, ktorá zablokovala 4 milióny rôznych škodlivých súborov na takmer 3 miliónoch počítačov. súbory by mohli mať vplyv na zákazníka, ak by sme ich primerane neuprednostnili. “ Inými slovami, spoločnosť Microsoft sa v tomto teste darila zle kvôli ich dôrazu na prioritizáciu súborov, ktoré by aktívne ovplyvnili ich zákazníkov.

Je to zaujímavé miesto, ale ostatní dodávatelia dokážu chrániť svojich používateľov a tiež získavať najvyššie skóre z AV-testu. Bitdefender, F-Secure a Trend Micro dostali 6 zo 6 možných bodov v teste ochrany.

Pripúšťam, že spoločnosť AV-Test nevyužila všetok malware, s ktorým sa používatelia Microsoftu skutočne stretli pri svojom teste. To by nebolo možné. Antivírusoví testeri sa musia snažiť používať reprezentatívne vzorky. Moje vlastné praktické testovanie s programom Microsoft Security Essentials, ktoré používa vzorky, ktoré sú ďaleko od nulového dňa, však naznačuje, že nie sú také účinné ako najlepšie antivírusové produkty.

Ak chcete získať viac informácií od Neila, sledujte ho na Twitteri @neiljrubenking.