2004年个人版防病毒软件评测报告离子翼信息安全实验室
http://bbs.ionwing.com
评测安全产品是离子翼信息安全实验室重要的工作之一,为了透彻的了解每种安全产品的特性以及公正的发布安全信息,离子翼信息安全实验室在2004年上半年组织了一次较大规模的防病毒软件测试,主要针对各种软件的防病毒能力,测试对象是经过我们精心挑选的、在业界受认知程度较高的、在以往测试中综合表现较强的7种防病毒软件产品,分别是卡巴斯基、诺顿、趋势科技、江民、金山、熊猫杀毒和瑞星出品的防病毒产品,本次公布的测试内容为对这些公司个人版产品的测试。网络版及其它类型产品的测试结果暂不公布,如需要其测试数据,请另行与我们联系。
首先,我们建议用户对防病毒软件的测试有一个客观的认识,评测本身只是在尽可能公平的条件下对防病毒软件的基本能力进行一些观察,给防病毒产品的特性分析提供一些佐证,在实际的应用环境下,用户的操作习惯、病毒的传播性、客观环境的复杂性都会对软件的表现产生影响,也提出更多的要求,我们希望此次评测有助于广大用户能够进一步了解防病毒产品的一些性能指标和技术细节,也希望广大反病毒厂商在提高反病毒产品技术能力的同时,能够更多地考虑到用户层面的内容,不断开发出更有实效,更符合用户习惯的优秀产品。
评测环境说明:
P4 1.7GHz
128M DDR内存
40G硬盘[7200转/2M缓存]
Microsoft Window XP 个人版
系统默认安装,除评测中使用的压缩软件、加壳程序等无任何其它程序及启动服务。
参测软件名称
卡巴斯基5(桌面版)
诺顿防病毒软件2004
KV2004
瑞星2004
金山毒霸6
趋势防病毒精灵2004
熊猫卫士铂金版
评测病毒库说明:
病毒样本数目:10006
其中共包括DOS病毒、Windows病毒、蠕虫病毒、脚本病毒、恶意代码、变形病毒、共生病毒、病毒制造机、异构病毒、腐败文件等多个类型。
测试过程说明:
测试集中在两个工作日内完成,以确保所有软件的病毒库升级时间基本相同。每测试完一个防病毒软件之后,将系统恢复到原始状态,以保证每个测试循环之间不会发生干扰。我们仍然遵循行业惯例,分别对每款防病毒产品的On-Access Scanner(监控器)和On-Demand Scanner(扫描器)进行测试;其中测试项目主要集中在性能和精度两个主要的方面,最后我们还对所有参加测试的防病毒软件的病毒清除能力进行了评估。
监控器测试
一. 性能测试:
该项测试主要反映了防病毒软件监控程序的系统资源占用情况,在CPU占用率方面,所有产品在系统没有操作的状态下基本相同,只在0%到1%之间波动,只有瑞星在测试过程中出现间歇性CPU占用率略微升高的现象,不过幅度非常小;内存占用方面,无论是各款防病毒软件处于默认设置还是处于我们统一规定的设置之下,卡巴斯基都获得了领先。不过,从主观感觉上,卡巴斯基相对于其它产品来说对机器启动速度有一定的影响。在此项测试中,诺顿2004的表现也相当出色,有望破除用户对诺顿防病毒性能方面的微辞;
总体上,对于目前的硬件配置水平来说,防病毒产品的监控进程对用户的正常操作已经基本没有影响了。
二. 精度测试:
监控程序的精度测试主要包括了监控的途径和监控的病毒种类两个主要项目;在监控途径的测试中,各款防病毒软件表现良好,对于本地驱动器、网络驱动器可移动媒体、电子邮件等数据访问途径的监控全部支持;在进行监控病毒种类的测试时,测试结果再次让我们兴奋不已,所有软件对所有类型的病毒都可以实现监控,看来防病毒软件的监控器技术经过若干年的发展,已经真正成为和病毒扫描器具有同等重要地位的功能模块了。
AVP5 诺顿 KV2004 瑞星 金山 趋势 熊猫
本地驱动器 √ √ √ √ √ √ √
可移动媒体 √ √ √ √ √ √ √
网络驱动器 √ √ √ √ √ √ √
电子邮件 √ √ √ √ √ √ √
应用程序 √ √ √ √ √ √ √
注意:在该测试中仅表示软件的监控中心能否监视到来自以上途径的病毒,并不等于该软件具备扫描以上领域的功能。比如卡巴斯基5桌面版虽然不具备扫描网络驱动器的功能,但是如果用户通过局域网传输的文件含有病毒话,卡巴斯基5的监控中心仍然可以发出警报。
扫描器测试
必须首先说明的是,扫描器测试部分进行了相当多的项目,每进行一个测试项目我们就记录下耗费的时间和测试结果,所以扫描器部分的性能测试和精度测试的结果通常是同时产生的,我们在下面的描述中将以测试项目为顺序提供我们的测试结果,另外需要说明的是,由于启发式查毒还不是一种实用的值得信赖的技术,所以虽然我们在测试过程中也进行了相关的测试,但并不将其做为有效结果纳入该评测报告。
首先我们进行了海量扫描测试,我们在测试用机上专门开辟了一个2G的分区,其中包含有各类文件1.8G左右,其中包含一些染毒文件;我们只记录第一次扫描时的时间,因为很多防病毒产品在第二次扫描时将不会对未发生修改的文件进行扫描;在所有参测软件中,熊猫、金山和诺顿包揽了前3名,并且有相当的领先优势,可以看到,熊猫能够获得这样的市场影响力,确实有独到之处;值得注意的是,目前全球的反病毒厂商在自己的产品中应用的扫描策略各不相同,已经很少有防病毒产品对每个文件的所有成分进行扫描了,所以出现较大的扫描时差也在情理之中。
海量文件扫描 AVP5 诺顿 KV2004 瑞星 金山 趋势 熊猫
扫描用时 49:31 21:05 32:12 24:44 20:09 58:35 20:04
扫描文件 85433 79630 85401 84978 81002 85326 85429
扫描存档 0 0 0 0 0 0 0
扫描压缩包 17 17 17 17 17 17 17
随后进行的测试是对病毒样本进行的扫描测试,目前对病毒样本比较通行的一种划分是Wild 和Zoo,Wild是指一个由权威病毒组织和专家定期报告和维护的病毒列表,其结果是按月发表一个确认有实际传播和感染行为的病毒清单,而Zoo是相对Wild而言的更大范围的所有具有活性的病毒感染体,我们在该项目中使用了Zoo模式的测试,对我们预先准备的所有病毒样本进行扫描。测试结果显示,金山是唯一一个在2分钟以内完成测试的产品,而熊猫再次取得了好成绩,位列第二,诺顿的成绩也相当的不俗,耗用的时间都没有超过3分钟。这个测试的更重要的结果是每个产品的病毒识别率,卡巴斯基以超过99.5%的成绩证明了自己的技术底蕴,可以看出广大病毒收集者和国际安全领域的研究人士对该产品如此推崇的确是有理由的,以98%的识别率获得第二名的江民KV2004也有着优异的表现,国内最早涉足计算机病毒技术研发的江民公司仍然是技术派的杰出代表。紧随其后的是趋势和熊猫,趋势防病毒软件在前面两项性能测试中的表现不尽如人意,但在病毒识别方面的表现还是可圈可点,这可能与趋势的产品相对文件进行彻底的检查有关。
在测试中,我们把所有软件的扫描功能全部调整到最高等级,下面的结果就是每个软件的最高查毒能力状态下的表现。而国内相当著名的瑞星杀毒的表现相当令人诧异的原因我们在接下来的分类扫描测试中给大家做了分析。
Zoo扫描 卡巴斯基 诺顿 江民 瑞星 金山 趋势 熊猫
扫描用时 3" 2"27 3"42 6"24 1"57 9"47 2"5
已知病毒 9963 9241 9769 7388 9304 9502 9357
未知病毒 0 3 42 624 0 0 133
识别率 99.57 92.38 98.05 80.07 92.98 94.96 94.84
为了更好的反映病毒查杀率这一最重要评测指标所产生结果的深层次原因,我们在全部病毒样本扫描测试的基础上对每类病毒分别进行了一次扫描,大部分软件的分类扫描识别率忠实的反映了其总体的识别率,但仍有几点值得留意,一是金山对蠕虫病毒的识别率不足90%,在当下蠕虫病毒成为主流感染体的情况下,这个成绩实在不能令人满意;有些出乎我们的意料,而瑞星的总体成绩比较偏后,在分类测试中我们发现瑞星对病毒制造机、异类病毒、共生病毒等相对比较“罕见”的病毒类别基本束手无策,而DOS病毒的识别率也不是很高,据说瑞星在其查杀引擎中去掉了大量在Windows平台不会感染的病毒的特征码,可能是造成这种结果的主要原因,至于这种处理是优是劣,就是仁者见仁、智者见智了;而熊猫在检查Windows病毒时的表现与在检查其它分类时有较大差距,也是值得注意。
分类扫描 卡巴斯基 诺顿 江民 瑞星 金山 趋势 熊猫
DOS病毒 99% 91.71 % 99.4% 74.13% 96.98% 98.29% 98.34%
Windows病毒 100% 86.49 % 96.19% 70.3% 86.64% 92.51% 79.97%
蠕虫病毒 99% 93.25% 91.54% 60.65% 76.91% 91.06% 93.5%
脚本病毒 100% 93.16% 99.19% 68.78% 94.62% 95.8% 95.88%
恶意代码 99% 88.99% 94.55% 53.55% 74.98% 86.37% 82.67%
变形病毒 100% 72.24% 100% 51.6% 93.59% 98.58% 96.44%
共生病毒 66.95% 22.03% 61.02% 13.56% 50.85% 87.63% 50%
病毒制造机 100% 71.43% 98.05% 34.42% 85.71% 87.01% 96.1%
异构病毒 100% 79.67% 97% 56.67% 86.67% 91.33% 82%
腐败文件 100% 50% 100% 60.42% 91.67% 89.58% 81.25%
大家知道,现在计算机交换文件时很多情况下都要应用压缩文件,所以对压缩文件的检查也是考察防病毒软件能力的一个重要指标,我们在压缩文件测试部分共进行了5种压缩文件格式的测试:RAR、ZIP、ARJ、ACE、TGZ,我们将全部10006个病毒样本压缩成5种不同格式的压缩包然后进行病毒扫描测试。卡巴斯基不但支持所有5种压缩包格式,而且在压缩格式下的病毒识别率与正常扫描全部病毒样本时完全相同,而来自国内的KV和金山并列第二,同样地,这两款软件检查压缩包中的病毒时得到了与正常扫描时完全相同的结果,但美中不足的是KV不支持TGZ,而金山不支持ACE;趋势和熊猫在扫描RAR压缩文件时病毒识别率下降的非常厉害,而且也并不是支持所有的格式,而诺顿对我们用WinRAR3.0压缩的测试包完全不支持。
另外,由于我们在测试压缩包的时候,采用的是普通扫描模式,而关闭了所有参测软件的启发式扫描功能,所以在病毒识别率方面会与前面的测试结果有所出入。
压缩包测试 卡巴斯基 诺顿 江民 瑞星 金山 趋势 熊猫
RAR
扫描用时 4"07 × 1"47 3"24 2"12 1"24 0"23
识别率 99.58 × 98.05 67.62 91.27 26.37 26.47
ZIP 扫描用时 5"16 5"21 1"58 3"37 2"14 8"10 2"34
识别率 99.58 92.17 98.05 67.62 91.27 94.96 93.52
ARJ
扫描用时 5"31 × 2"13 3"23 2"12 6"50 2"03
识别率 99.58 × 98.05 67.62 91.27 94.96 93.52
ACE
扫描用时 2"18 × 1"43 19"20 × × ×
识别率 99.58 × 98.05 67.61 × × ×
TGZ
扫描用时 7"26 10"02 × × 2"36 7"36 ×
识别率 99.58 92.17 × × 91.27 94.96 ×
为了更彻底的发掘所有软件的能力,我们更进一步进行了嵌套压缩包的测试,为了让所有的软件都能参与测试,我们选择了所有参测产品都支持的ZIP格式进行嵌套打包,从最基本的3层嵌套开始,一直进行到多达20层嵌套,测试的结果卡巴斯基再次胜出,20层的压缩基本没有对它造成什么干扰,扫描时间也没有显著的增加,趋势只能很好的扫描3层压缩包,而诺顿只支持9层,熊猫和瑞星能很好的支持10层嵌套压缩,在扫描20层的时候才败下阵来。
嵌套压缩包 卡巴斯基 诺顿 江民 瑞星 金山 趋势 熊猫
3层
ZIP 扫描用时 0"6 0"2 0"2 0"2 0"2 0"2 0"2
识别数 47 47 45 45 45 47 47
识别率 100% 100% 95.74% 95.74% 95.74% 100% 100%
9层
ZIP 扫描用时 0"7 0"2 0"2 0"2 0"4 0"2 0"2
识别数 47 47 45 45 45 0 47
识别率 100% 100% 95.74% 95.74% 95.74% 0 100%
10层
ZIP 扫描用时 0"7 0"2 0"2 0"3 0"3 0"2 0"2
识别数 47 30 45 45 45 0 47
识别率 100% 62.83% 95.74% 95.74% 95.74% 0 100%
20层
ZIP 扫描用时 0"9 0"2 0"2 0"2 0"3 0"2 0"2
识别数 47 0 28 0 45 0 30
识别率 100% 0 59.57% 0 95.74% 0 62.83
混合
嵌套 扫描用时 0"5 0"1 0"2 0"3 × 0"2 ×
识别数 47 0 45 45 × 0 ×
识别率 100% 0 95.74% 95.74% × 0 ×
在测试了参测产品对压缩包的支持能力之后,我们进行了目前比较流行的7种加壳格式文件支持情况的评估,“加壳”这个词可能对于广大读者比较陌生,但是对于黑客们则再熟悉不过了,其浅显的解释可以理解为用某种技术让应用程序的代码发生变化,而又不影响应用程序的执行效果。在好的方面,某些加壳软件可以使一些臃肿的应用程序减少体积,便于通过网络交换传播,另外,也可以保护软件作者的知识产权。在坏的方面,某些“有心人”也可能利用加壳的方法,使一些恶意程序躲过安全软件的检查。当然,对于病毒来讲,加壳技术可能不是很适用于普通病毒的伪装,但是对于一些木马程序倒是有很大的帮助。所以杀毒软件对加壳格式进行支持也是有一定需求的。测试结果如下表所示:
加壳格式测试 卡巴斯基 诺顿 KV 瑞星 金山 趋势 熊猫
PECompace √ × √ √ × × √
ASPack √ √ √ √ × √ √
WWPack √ √ √ × × √ ×
NeoLite √ × √ × × × ×
PKLITE √ × √ × × × ×
Petite √ × √ × × × √
PeX √ × √ √ × × ×
接下来我们进行了虚警测试,所谓虚警测试,就是人为的制造出类似于病毒的文件,但这种文件本身并不是病毒。通过对这些“披着狼皮的羊”进行扫描,可以大致看出一款软件的误报率等信息,当然我们所准备的假象文件毕竟数量有限,而且种类也不是很丰富,所以测试结果仅供参考。读者应该明白,虚警测试里,想要模拟出用户们在使用过程中所遇到的千奇百怪的情况基本是不可能的事情。
测试的结果比较令我们满意,除了熊猫在扫描头尾增加了字符串的EICAR文件时发出了误报以外,其他软件都顺利通过了测试。
虚警测试 卡巴斯基 诺顿 KV 瑞星 金山 趋势 熊猫
软件光盘 标准 无 无 无 无 无 无 无
启发 无 无 无 无 无 无 无
可疑文件 标准 无 无 无 无 无 无 无
启发 无 无 无 无 无 无 无
xEICARx 标准 无 无 无 无 无 无 有
启发 无 无 无 无 无 无 有
最后一个测试项目是加密文件扫描测试,我们的要求是在遇到加密的文件时防病毒软件应该对用户做出不能扫描的提示,在该项测试中,只有卡巴斯基在扫描经过加密设置的ZIP文件时做出了提示,而在对加密的RAR文件进行扫描时,所有的防病毒软件都没有反映。至于我们用加密软件加密过的病毒,测试结果也在意料之中。
加密格式 卡巴斯基 诺顿 KV 瑞星 金山 趋势 熊猫
带密码RAR包 × × × × × × ×
带密码ZIP包 √ × × × × × ×
加密软件加密 × × × × × × ×
病毒清除测试
我们测试的最后一个大项是防病毒软件的杀毒性能,有一些用户过于重视防病毒软件的查毒能力而忽视了其清除病毒的能力,能否在不损坏感染文件的情况下安全的清除病毒体也是非常重要的;该项测试的目标仍然是10006个病毒样本,实际的测试分为2个阶段,第一阶段,我们测试所有参测软件清除病毒的能力,第二阶段我们在不能清除病毒的情况下使用防病毒软件的删除功能对病毒进行处理;经过两个阶段的测试,得出所有参测软件的清除率和处理率。
在清除测试中,金山以超过60%的清除率独占鳌头,熊猫、瑞星、卡巴斯基紧随其后,这一指标充分说明了国产防病毒产品的基本能力与国际产品相比已经不再处于弱势,但国外的众多老牌反病毒厂商在这一测试中没有进入前三,我们分析应该不完全是技术层面的问题,国际知名厂商应该是在病毒清除引擎领域具有技术和经验优势的,这一结果的部分原因可能是这些厂商在清除引擎的操作上采取了审慎的策略,因为根据我们的经验,卡巴斯基、诺顿等产品在遇到病毒感染时,其清除行为破坏文件的可能性很小,很少出现误报和误处理现象,这可能也是直接导致了它们清除率下降的原因。
在处理率测试中,则呈现出与清除测试相反的态势,国际产品的成绩相对来说更加优越一些,熊猫以高达93.6%的处理率荣登榜首,诺顿、卡巴斯基分列2、3位,而江民出品的KV2004得到了第4名的不俗成绩;在该项测试中,我们比较奇怪的是金山和瑞星的表现。这两款软件在清除病毒方面表现相当出色,可是两款软件对于不能清除的病毒则经常提示“无法删除”。我们考虑可能是因为两家公司都采取了相当谨慎的策略,对于不能安全清除的非可执行文件,本着不破坏用户文件的原则而仅给用户一个提示,让用户自行决定文件是否应该删除。而趋势防病毒精灵则是让我们哭笑不得,该软件在杀毒完毕后,并未给出清除病毒和删除病毒的具体数目,所以我们只能计算出处理率。
病毒清除 卡巴斯基 诺顿 江民 瑞星 金山 趋势 熊猫
用时 9"44 4"17 2"40 7"4 4"31 8"10 5"23
清除数 3654 2002 3587 4034 6410 无报告 5727
删除数 4775 7213 4769 2823 136 无报告 3636
清除率 36.52% 20.01% 35.85% 40.32% 64.06% — 57.24%
处理率 84.24% 92.09% 83.51% 68.53% 65.42% 80.53% 93.63%
总评
以上是本次测试的主要结果,从中我们可以看出各个厂商的产品都有其不同的特色和侧重点,虽然各项的测试结果有高有低,但总体表现还是可以给用户以信心的。国内的防病毒软件通常具有运行迅速、资源占用低的特点,查毒能力和杀毒能力也都表现良好,只是在病毒处理方面还有待提高;国际厂商的产品在技术处理方面仍旧保有优势,但其并非完美无缺,一些处理策略和产品理念上并不适合国内市场,比较明显一点的就是国际厂商一般对仅在国内流行的qq病毒无法查杀,这也是应继续努力改进的。不过综合而言,我们可以看到国内防病毒产品的整体水平有了长足的进步,至从综合表现来看已经超过了某些国际厂商。以下是我们对所有参加测试的产品的一个点评,代表了我们对各个产品的一个总体的看法:
卡巴斯基5.0
在本次测试中,卡巴斯基防病毒软件依然表现抢眼,在病毒查杀技术上的领先地位依然稳固;目前比较不足的方面就是性能方面,但由于保障了病毒查杀的高度准确,性能方面的牺牲也就变得可以理解了;最新的5.0版本仍然保持了其控制面广泛的优点,在常见的压缩包和加壳文件格式测试中,均表现完美,在压缩文件扫描测试中,卡巴斯基是唯一能同时准确识别出Windows平台和UNIX平台上常见压缩格式的产品,这是与其先进的整体防病毒理念分不开的。
诺顿2004
诺顿依然在其产品中沿袭了其一贯的简洁易用的特色。由于诺顿防病毒软件走的是一条与卡巴斯基为首的技术流相反的路线,比较注重实效,所以虽然数据指标不是非常特出,但发现的病毒基本上可以安全的进行处理,加之配合诺顿全球领先的服务体系,可以说是一款比较值得信赖的产品;但是诺顿在新版本中依然没有解决诺顿系列防病毒软件在压缩包及加壳格式处理方面的弱势,作为全球性的品牌,其在某些方面的“固执”也堪称一道风景了。
江民杀毒王2004
系统资源占用方面,KV2004的表现非常出色,而且和操作系统结合的很好,在资源管理器中可以直接把查杀毒情况显示出来,但这也造成每次开机后第一次打开资源管理器时会有一个明显的延迟;KV在查毒率方面取得了仅次于卡巴斯基的好成绩,在压缩格式和加壳格式文件的支持方面也表现不错,KV2004是所有参测软件中,扫描压缩包速度最快的防病毒产品。可以说如果江民公司能够努力把处理病毒方面的弱项克服的话,kv杀毒王就是一款综合能力超强的产品了。
金山毒霸6
金山毒霸的查毒率跟其软件的查毒方式有很大联系,我们强烈建议金山毒霸的用户在查毒的时候选择精细查毒方式,只有在这种情况下,金山毒霸的查毒率的表现才是可以接受的,不过用户不必为打开精细查毒后毒霸的效率担忧,我们在测试中发现,无论以何种设置进行操作,其速度都基本领先于其它产品;金山毒霸在压缩格式方面的支持比较广泛,但在加壳格式方面则让我们大跌眼镜,居然对所有流行的加壳格式都不支持;在清除病毒方面,金山毒霸表现非常出色,但对于一些无法正常清除的病毒无法进行删除。作为杀毒领域的新贵,我们相信金山公司在经过不断的技术积累后,可以做得更好。
熊猫铂金版
熊猫卫士铂金版继续保持了熊猫软件注重整体优势的风格。在杀毒方面,熊猫的杀毒率取得了本次测试的第一名,而且熊猫的病毒清除率也是相当之高,可见熊猫公司在这方面确有真才实学,熊猫在本次测试中的综合表现非常好,病毒查杀的测试结果证明了熊猫的口碑绝非空穴来风;但是在压缩格式和加壳格式支持方面,熊猫只能位于中游。
趋势防病毒精灵
趋势做为国内企业平台上非常著名的信息安全厂商,似乎对个人平台上的产品不是很注重,除了前几年PC-cillin曾经名动一时以外,现在知道更名后的“趋势防病毒精灵”的个人用户已经不是很多了。趋势对于压缩格式的支持不是很好,几个Windows平台下流行的压缩格式支持得很不理想;而在病毒查杀方面的整体表现平平,综合起来看整款软件还算可以接受,鉴于其广阔的品牌影响力,我们认为趋势的性能表现还应该有所提高。
瑞星2004
瑞星的查毒率和杀毒率的表现都非常不好,原因在报告中我们已经做过一些分析了,假如我们分析无误的话,那么本次测试并不能真正代表瑞星的水平,但是同样的,我们认为瑞星的这种有异于业内其他公司的做法使瑞星很难在大规模ZOO模式的评测中取得理想的成绩。在压缩格式支持方面,瑞星表现不错,可以支持Windows平台上的常用压缩格式;在加壳格式的测试中,瑞星表现一般,支持的种类不是很多。由于重要的查杀率方面我们在本次测试中没能得到准确的数据,所以暂时无法对瑞星做出综合性评价,但就瑞星在其他方面的表现来说,与瑞星如日中天的知名度还有一定差距。
结语:作为和广大电脑用户息息相关的一类软件工具,防病毒软件的质量是对用户系统安全的至关重要的一个因素;我们希望通过我们的努力,能够对广大读者选择适合自己的产品有所帮助。如果有任何信息安全方面的问题,欢迎登录离子翼信息安全实验室的论坛(http://bbs.ionwing.com),并真心希望能够与广大信息安全领域同仁,共同为推进我国的信息安全事业而奋斗。
离子翼信息安全实验室
bbs.ionwing.com