Hace unas semanas diseñé un pequeño test que me gustaría compartir:
- Elegí un vídeo. Os recomiendo ver Big Buck Bunny (open movie), construido usando Blender (GPL software).
- Características del vídeo:
- Resolución: 1920 x 1080
- Tamaño: 886M
- Coders: AVI Mpeg4 video, AC3 surround sound
- Diseñé un script que invocaba a ffmpeg para realizar una transcodificación. Son tareas que requieren un uso intensivo de CPU y según la herramienta, también consumen gran cantidad de RAM.
- Elegí tres proveedores de infraestructura.
- En cada uno contraté su producto de VPS con las siguientes características: 2 Cores y 2GB RAM. En este caso el volumen de almacenamiento no es significativo porque no afecta al test. En los tres casos se optó por Debian 6 / 64bits.
- El script se ejecutó durante varios días cada hora y se hizo así para comprobar si la hora afectaba al resultado.
Script
Datos de una ejecución
Tiempo medio durante 24 ejecuciones (1día)
Tiempos de ejecución
Tips
- Antes de poner en marcha el test en cada uno de los servidores se comprobó que los servicios ejecutándose fueran los mínimos.
- La programación del script se hizo con el cron de S.O.
- Las gráficas reflejan el valor de User time, aunque también se podía haber usado Elapsed (wall clock) time.
- Hay dos proveedores nacionales y uno internacional. No, Amazon no es uno de ellos porque ya sé de antemano que daría los peores resultados. Amazon es atractivo por otros motivos pero no por su capacidad de procesamiento, a precios razonables según otras opciones.
Mis conclusiones
- Que alrededor del Cloud hay mucho vendedor de humo
- Que las modas dan de comer a muchos pero hacen más difícil el trabajo a otros
- Que se usan muchas palabrotas para confundir
- Que si alguien te pide una recomendación debes ser profesional y analizar las necesidades para poder ofrecer algo bueno
- Que cuando compares no olvides aquello del colegio de: “peras con peras, y manzanas con manzanas”
- Que en España tenemos lo mejor y lo peor. Lo dejo para que cada uno reflexione
- Cuando veas dos productos que parecen similares y sus precios radicalmente opuestos, piensa que algo huele mal
- Cuando tengas que elegir un proveedores de infraestructura hay muchas cosas que analizar: qué te ofrecen para administrar tus servicios contratados, usabilidad (UI y APIs), seguridad perimetral, sistemas de contingencia, etc
- Y sí, esto está muy relacionado con un post que escribí hace unas semanas
Lo comentaba en los twitters, pero aquí es donde tiene sentido plasmar mi valoración del artículo: me falta cohesión para darle sentido al asunto. Me explico.
La primera parte del post explica de manera detallada, correcta, un procedimiento de benchmarking que has utilizado para comparar el rendimiento de proveedores de VPS (principalmente CPU, como bien indicas). El transcoding de un fichero multimedia gordo es una buena elección para ese tipo de test, así que hasta aquí contento.
En la segunda parte expones los resultados. Una gráficas comparativas con promedios, series temporales de resultados, todo correcto de nuevo. Bueno, correcto en cierto modo. No identificas los servicios comparados, así que los valores aportan más bien poca información per se. No puedo extraer conclusiones del tipo “el proveedor ‘x’ es malo ofreciendo CPU, pero el ‘y’ es bueno, eso que sé cuando tenga que elegir”. Así que supongo que tu intención no es aconsejar / desaconsejar servicios concretos, sino sacar algún otro tipo de conclusión general. Espero a las conclusiones entonces.
Pero en las conclusiones es donde hecho en falta la famosa cohesión de la que hablaba. Queda claro en las mismas que no tratas de definir un ranking de VPS en base al rendimiento obtenido en tus tests, sino criticar ciertas actitudes. Hablas de venta de humo, de modas, de usar palabras complicadas para confundir… ¡pero sin ningún nombre de nuevo! No sé quién miente, ni sobre qué miente. No sé si los resultado malos son de un proveedor mentiroso, o si en cambio el proveedor mentiroso tiene los mejores resultados. Básicamente no sé nada. No tengo herramientas para vincular esos resultados de los tests con las conclusiones que extraes de los mismos, y eso para mí invalida el experimento.
Las comparativas han de ser replicables por el respetable para tener un valor objetivo, y en este caso creo que no se cumple. No estás contento con algún proveedor, has llevado a cabo mediciones para demostrar tu teoría, pero al ocultar el dato más importante (que proveedor y que promesa incumple) las misma carecen de validez. Todo queda en que opinas que alguien vende humo, pero sin explicar ni quién ni por qué. Así que me quedo un poco a media. Me dices que hay proveedores más rápidos que otros, pero eso no es ninguna sorpresa.
Tus razones tendrás para ocultar nombres y no sacar a pasear tu dedo acusador. Tú no eres de callarte para evitar problemas, pero el post se me queda muy “coitus interruptus”.
Todo esto, espero que no quepa duda, te lo digo desde el cariño y el respeto, y con la mayor voluntad de crítica constructiva. De lo contrario simplemente no hubiese dedicado tanto rato a comentar los fallos que le veo al post 🙂
Hola Aitor,
No puedo más que agradecerte el comentario. Sin lugar a dudas, gente como tú es la que hace que siga escribiendo en este blog. Gracias por participar.
Reconozco abiertamente que las conclusiones no son buenas, pero resulta complicado sin mencionar a los proveedores o datos que los relacionen.
Sobre los comentarios a las conclusiones:
Parece que me conoces bien. No soy de los que tiran la piedra y esconde la mano. Tampoco es una cuestión de prudencia, simplemente que no aplicaba.
Te considero un crack. Término que uso sólo para uno pocos.