Video: Тестирование Symantec Endpoint Protection 14.2 (November 2024)
Skenovanie na požiadanie
Test skenovania na požiadanie vystavuje každý testovaný produkt kolekcii „vzoriek z posledných týždňov / mesiacov, ktoré zasiahli používateľov v teréne“. Vzorky sa ďalej analyzujú s cieľom klasifikovať podobné súbory a zmenšiť veľkosť súboru vzoriek, takže „každá zmeškaná má reprezentovať jednu zmeškanú skupinu“. Tento konkrétny test používa 136 610 nedávnych vzoriek. Počiatočné skóre produktu je percento zistených vzoriek.
Norton AntiVirus spoločnosti Symantec prekvapivo preukázal najnižšiu mieru detekcie (predtým, ako zváži falošné poplachy), s detekciou 91, 2%. Aplikácia Microsoft Security Essentials bola vyššia a zistila 92 percent vzoriek. Vďaka detekcii 99, 9% si spoločnosť G Data AntiVirus získala najvyššiu priečku. Niekoľko ďalších dokázalo lepšie ako 99 percent.
Falošne pozitívne
Vedci AV-Comparatives používajú techniku zhlukovania na identifikáciu medzných bodov oddeľujúcich ADVANCED + (najvyššie hodnotenie) od ADVANCED a ADVANCED od STANDARD. To je východiskový bod, ale produkt s mnohými (16 až 50) falošne pozitívnymi hodnotami stratí jednu ratingovú úroveň a produkt s veľkým počtom (51 až 100) stratí dva. Bez ohľadu na to, aké je jeho počiatočné hodnotenie, ak produkt zobrazuje „bláznivý počet“ (viac ako 100) falošných poplachov, vždy dostane nepriechodné hodnotenie TESTOVANÉ.
Deväť z dvadsiatich testovaných výrobkov stratilo jednu ratingovú úroveň kvôli mnohým falošne pozitívnym výsledkom. Aspoň žiaden z nich nemal veľmi veľa alebo mnoho „bláznivých“ FP. Norton, začínajúci ratingom STANDARD, klesol na TESTED, rovnako ako AhnLab. V kruhu víťazov s hodnotením ADVANCED + nájdeme Avira, Bitdefender, BullGuard, F-Secure a Kaspersky. Kliknutím sem zobrazíte celú správu.
Upozorňujeme, že nenájdete spoločnosť Microsoft uvedenú v sekcii ocenení. Najprv som si myslel, že to bol dohľad, ale spoluzakladateľ AV-Comparatives Peter Stelzhammer ma postavil rovno. „Rozhodli sme sa už neuvádzať spoločnosť Microsoft v sekcii Ceny (a ani v ďalších testoch), “ vysvetlil Stelzhammer, „keďže ich ochrana pred spustením v systéme Windows je predvolene povolená.“ Podobným spôsobom sa spoločnosť AV-Test rozhodla zaobchádzať so skóre spoločnosti Microsoft ako s minimálnou východiskovou hodnotou.
Vážené falošné poplachy
Spoločnosť Symantec už roky tvrdí, že jednoduchý počet falošných poplachov nie je užitočný. Vedci spoločnosti Symantec odporúčajú, aby každý falošne pozitívny test zahŕňal váženie na základe rozšírenia príslušného súboru. Tvrdia, že ich systém analýzy Norton Insight vylučuje možnosť falošného pozitívneho nálezu na všetkých súboroch s výnimkou tých, ktoré majú nízku prevalenciu. Sekundárny dokument od AV-Comparatives naznačuje, že môžu mať pravdu.
Príloha False Positives k hláseniu na požiadanie obsahuje zoznam všetkých súborov, ktoré každý produkt omylom zistil ako škodlivý softvér, spolu s použitým názvom škodlivého softvéru a odhadom prevalencie. Identifikovali päť úrovní, od „pravdepodobne menej ako sto používateľov“ po „pravdepodobne niekoľko stoviek tisíc (alebo miliónov)“.
Len aby som videl, vybral som reprezentatívny počet používateľov na každej úrovni, 50 používateľov na prvej úrovni a desaťkrát väčší na každú vyššiu úroveň, s 500 000 používateľmi najbežnejších programov. Potom som spočítal počet používateľov, ktorí by mohli byť ovplyvnení falošnými pozitívami každého produktu. Výsledky uvedené v tabuľke nižšie mi naznačujú, že by spoločnosť AV-Comparatives mala zvážiť použitie podobného váženého výpočtu FP.
V tomto diagrame sú produkty, ktoré stratili ratingovú úroveň kvôli falošným pozitívom, zobrazené tučnou kurzívou. Podľa môjho váženého výpočtu má program Norton FP potenciálne vplyv na 13 750 používateľov. Niekoľko produktov, ktoré sa neznížili na základe počtu FP, malo v skutočnosti väčší účinok ako Symantec, vrátane víťazov Kaspersky a F-Secure.
Emsisoft mal celkovo najväčší počet falošných poplachov, z toho 38. Hrozný, však? Žiadna z nich však nebola z dvoch najvyšších úrovní prevalencie, takže jej teoretický účinok je menší ako účinok Sophosu s celkovým počtom 6 FP alebo ESET s 9 FP.
Spoločnosť McAfee získala v základnom teste na požiadanie hodnotenie ADVANCED. Pri 15 falošných poplachoch je to len málo, čo by spôsobilo stratu úrovne hodnotenia. Napriek tomu má môj vážený výpočet potenciálne zodpovednosť za ovplyvnenie viac ako dvesto tisíc používateľov, čo je takmer 16-krát viac ako v Nortone.
Nejedná sa o čísla v reálnom svete, iba o myšlienkový experiment, ktorý má pomôcť pochopiť, čo by prevalencia pri meraní falošných pozitív znamenala. Po absolvovaní tohto cvičenia som dúfal, že AV-Comparatives nájde spôsob, ako zohľadniť prevalenciu falošných pozitívnych testov. Samotné spočítanie čísel zjavne nestačí.
