Proveedores de infraestructura

Hace unas semanas diseñé un pequeño test que me gustaría compartir:

  1. Elegí un vídeo. Os recomiendo ver Big Buck Bunny (open movie), construido usando Blender (GPL software).
  2. Características del vídeo:
    1. Resolución: 1920 x 1080
    2. Tamaño: 886M
    3. Coders: AVI Mpeg4 video, AC3 surround sound
  3. Diseñé un script que invocaba a ffmpeg para realizar una transcodificación. Son tareas que requieren un uso intensivo de CPU y según la herramienta, también consumen gran cantidad de RAM.
  4. Elegí tres proveedores de infraestructura.
  5. En cada uno contraté su producto de VPS con las siguientes características: 2 Cores y 2GB RAM. En este caso el volumen de almacenamiento no es significativo porque no afecta al test. En los tres casos se optó por Debian 6 / 64bits.
  6. El script se ejecutó durante varios días cada hora y se hizo así para comprobar si la hora afectaba al resultado.

Script

Datos de una ejecución

Tiempo medio durante 24 ejecuciones (1día)

grafico-1

Tiempos de ejecución

grafico-2

Tips

  1. Antes de poner en marcha el test en cada uno de los servidores se comprobó que los servicios ejecutándose fueran los mínimos.
  2. La programación del script se hizo con el cron de S.O.
  3. Las gráficas reflejan el valor de User time, aunque también se podía haber usado Elapsed (wall clock) time.
  4. Hay dos proveedores nacionales y uno internacional. No, Amazon no es uno de ellos porque ya sé de antemano que daría los peores resultados. Amazon es atractivo por otros motivos pero no por su capacidad de procesamiento, a precios razonables según otras opciones.

Mis conclusiones

  1. Que alrededor del Cloud hay mucho vendedor de humo
  2. Que las modas dan de comer a muchos pero hacen más difícil el trabajo a otros
  3. Que se usan muchas palabrotas para confundir
  4. Que si alguien te pide una recomendación debes ser profesional y analizar las necesidades para poder ofrecer algo bueno
  5. Que cuando compares no olvides aquello del colegio de: “peras con peras, y manzanas con manzanas”
  6. Que en España tenemos lo mejor y lo peor. Lo dejo para que cada uno reflexione
  7. Cuando veas dos productos que parecen similares y sus precios radicalmente opuestos, piensa que algo huele mal
  8. Cuando tengas que elegir un proveedores de infraestructura hay muchas cosas que analizar: qué te ofrecen para administrar tus servicios contratados, usabilidad (UI y APIs), seguridad perimetral, sistemas de contingencia, etc
  9. Y sí, esto está muy relacionado con un post que escribí hace unas semanas

2 thoughts on “Proveedores de infraestructura

  1. Lo comentaba en los twitters, pero aquí es donde tiene sentido plasmar mi valoración del artículo: me falta cohesión para darle sentido al asunto. Me explico.

    La primera parte del post explica de manera detallada, correcta, un procedimiento de benchmarking que has utilizado para comparar el rendimiento de proveedores de VPS (principalmente CPU, como bien indicas). El transcoding de un fichero multimedia gordo es una buena elección para ese tipo de test, así que hasta aquí contento.

    En la segunda parte expones los resultados. Una gráficas comparativas con promedios, series temporales de resultados, todo correcto de nuevo. Bueno, correcto en cierto modo. No identificas los servicios comparados, así que los valores aportan más bien poca información per se. No puedo extraer conclusiones del tipo “el proveedor ‘x’ es malo ofreciendo CPU, pero el ‘y’ es bueno, eso que sé cuando tenga que elegir”. Así que supongo que tu intención no es aconsejar / desaconsejar servicios concretos, sino sacar algún otro tipo de conclusión general. Espero a las conclusiones entonces.

    Pero en las conclusiones es donde hecho en falta la famosa cohesión de la que hablaba. Queda claro en las mismas que no tratas de definir un ranking de VPS en base al rendimiento obtenido en tus tests, sino criticar ciertas actitudes. Hablas de venta de humo, de modas, de usar palabras complicadas para confundir… ¡pero sin ningún nombre de nuevo! No sé quién miente, ni sobre qué miente. No sé si los resultado malos son de un proveedor mentiroso, o si en cambio el proveedor mentiroso tiene los mejores resultados. Básicamente no sé nada. No tengo herramientas para vincular esos resultados de los tests con las conclusiones que extraes de los mismos, y eso para mí invalida el experimento.

    Las comparativas han de ser replicables por el respetable para tener un valor objetivo, y en este caso creo que no se cumple. No estás contento con algún proveedor, has llevado a cabo mediciones para demostrar tu teoría, pero al ocultar el dato más importante (que proveedor y que promesa incumple) las misma carecen de validez. Todo queda en que opinas que alguien vende humo, pero sin explicar ni quién ni por qué. Así que me quedo un poco a media. Me dices que hay proveedores más rápidos que otros, pero eso no es ninguna sorpresa.

    Tus razones tendrás para ocultar nombres y no sacar a pasear tu dedo acusador. Tú no eres de callarte para evitar problemas, pero el post se me queda muy “coitus interruptus”.

    Todo esto, espero que no quepa duda, te lo digo desde el cariño y el respeto, y con la mayor voluntad de crítica constructiva. De lo contrario simplemente no hubiese dedicado tanto rato a comentar los fallos que le veo al post :)

  2. Hola Aitor,

    No puedo más que agradecerte el comentario. Sin lugar a dudas, gente como tú es la que hace que siga escribiendo en este blog. Gracias por participar.

    • Efectivamente, el test está pensado para obtener datos relacionados con la capacidad de procesar, y ahí la CPU y la RAM son quienes juegan un papel importantísimo.
    • Parece que el modelo de gráficas es acertado. En la primera una media del tiempo de ejecución de cada proveedor. Se ve claramente como hay dos que están en sintonía y uno que da la nota
    • Discrepo en que no se identifican los servicios. Busqué tres proveedores que me ofreciesen VPS con las siguientes características: 2 CPUs y 2GB RAM. Los tres proveedores ofrecían esto aunque usando nombres distintos.
    • Entre los objetivos del post no está el que puedas sacar conclusiones como la que comentas en tu tercer párrafo. No es una comparativa de rendimiento.

    Reconozco abiertamente que las conclusiones no son buenas, pero resulta complicado sin mencionar a los proveedores o datos que los relacionen.

    Sobre los comentarios a las conclusiones:

    • Hablo de humo porque en muchos proveedores resulta casi imposible encontrar cierta información, como por ejemplo, tipos de microprocesadores y velocidad de reloj. Es sólo un ejemplo.
    • Ni por asomo pretendía acusar a nadie de mentir. Ya somos mayorcitos para sacar nuestras propias conclusiones y tomar decisiones profesionales. Lo que sí afirmo y con fuerza, es que hay mucha palabrería para confundir al personal. Que si cores, cloudlet, “4 EC2 Compute Units” (esto es lo último), etc.
    • Tras el post dices que básicamente “no sabes nada”. Aquí me quedo sin opciones, pero sí te diría que cuando elijas a tu proveedor entre tus opciones, entiendas lo que estás comparando en términos objetivos. Y que cuando salgan los gurusetes diciendo que tal proveedor es el mejor por tal y cual, lo pongas en cuarentena y recuerdes este post.
    • Como no es una comparativa de proveedores, el “derecho” a replica no tiene mucho sentido.
    • Sí estoy contento con mi proveedor (muy contento). Lo que me cabrea es seguir escuchando “esto es muy caro, yo he visto servidores por 5€/mes”.
    • Simplemente evito los nombres porque no es una comparativa, sino un llamamiento a la rigurosidad y profesionalidad ahora la hora de hablar de productos y servicios.

    Parece que me conoces bien. No soy de los que tiran la piedra y esconde la mano. Tampoco es una cuestión de prudencia, simplemente que no aplicaba.

    Te considero un crack. Término que uso sólo para uno pocos.

Leave a Reply

Your email address will not be published. Required fields are marked *