Las pruebas se realizaron entre enero y marzo de 2014. Todos los antivirus se probaron en máquinas virtuales de VirtualBox, con pocos recursos, partiendo de la misma imagen, y haciendo a todos las mismas pruebas.
La idea era que todos los antivirus tuvieran las mismas condiciones y las mismas oportunidades.
¿Qué probamos?
Rendimiento
Instalación antivirus: Lo que tardó la instalación del software. Siempre se utilizaron instaladores «offline», para que la velocidad de descarga no afectara el rendimiento de la misma.
Instalación + 1era actualización: Lo que tarda la instalación y la primera actualización del antivirus, que es lo que realmente tarda en estar operativo.
Arranque Windows: lo que tarda Windows desde que la máquina arranca hasta que termina de cargar el inicio. El «fin» del inicio se medía al aparecer un fichero de texto.
Copiar backup: copia de 3Gb de información dentro de la máquina virtual, con muchos ficheros pequeños.
Instalar OpenOffice: lo que tardaba en instalarse OpenOffice.
Abrir XLS de 200Mb: abríamos un fichero de Excel de 200Mb, con muchas imagenes.
Instalar GIMP, Java 6u26 y Flash: lo que tardaba la instalación de estas aplicaciones.
Apagar Windows: lo que le llevaba a la máquina virtual a apagarse.
Error de swap insuficiente: Algunos antivirus se quedaban sin memoria virtual, lo cual convertía al ordenador en inutilizable.
Total de las pruebas: lo que tardó cada una de las pruebas en particular.
Protección
Exploits Java (Atomic Reference Array y Store Image Array): explotamos 2 vulnerabilidades de Java que permiten, por ejemplo, la infección del virus de la policía. La herramienta utilizada fue Metasploit.
Softonic: ya que Softonic es una inagotable fuente de programas no deseados, que afectan de manera muy grave el rendimiento del ordenador, utilizamos varios instaladores de Softonic para probar hasta qué punto el antivirus ayuda a mantener el ordenador limpio de software no deseado.
Inminent, Llollipop y OfferBox: programas de publicidad (adware).
Software desactualizado: ¿nos avisa el antivirus de que tenemos software antiguo y vulnerable a ataques?
Expiro: un virus muy agresivo y que roba información personal, contraseñas y datos bancarios. Muy difícil de desinfectar.
Protege Dropbox: copiamos un fichero infectado en otro ordenador con Dropbox, ¿frena el antivirus esta infección?
USB infectado: ¿nos protege frente a USBs con virus?
Dominio de malware: nos metemos en cualquier navegador en un dominio con malware, y vemos qué programa nos protege.
Bizarrezootv.com y kadman.net, sitios que aprovechan exploits de Windows.
Impide virus de la policía: probamos de infectar el ordenador voluntariamente, con el virus de la policía. Hay muchos antivirus que no impiden la infección, muestran una advertencia cuando el ordenador ya no se puede limpiar.
Limitaciones de la prueba
La pruebas consistían en instalar un antivirus, y pasar una serie de pruebas, midiendo cada una y luego seguir la misma secuencia para detectar infecciones.
Cada prueba duró aproximadamente 1 hora. Esto significa que, en una hora, todos tuvieron relativamente las mismas oportunidades para demostrar la protección y el rendimiento que tienen.
Pero pruebas como las de Microsoft Security Essentials, que lo primero que hizo fue actualizar Windows, afectó el resto de pruebas. Realmente no pudimos probar su rendimiento real después de que Windows terminara con las actualizaciones automáticas.