AWS EC2 instances historical data

I´ve collected historical data for AWS EC2 in order to represent graphically the evolution of on-demand instance types and their hourly usage prices. The following interactive motion chart has been built with the aid of Google Chart Tools.

Go to interactive chart

 

The chart represents the relationships between: instance type (using the API name), instance family, CPU speed (approximation, see below), memory size, storage size, storage performance and price (for one region, see below). You can choose axis variables and track the evolution of prices of each type of instance using the interactive chart.

CPU speed has been calculated multiplying each virtual machine ECUs by 1.2 to obtain a GHz approximation. This has been done following the AWS definition: "One EC2 Compute Unit (ECU) provides the equivalent CPU capacity of a 1.0-1.2 GHz 2007 Opteron or 2007 Xeon processor." 

Price information belongs to the us-east-1 region instances (Northern Virginia). I´ve chosen this region because is the oldest one and implements all types of instances. The operating system of reference is linux, to avoid taking account of the added licensing costs.

Some interesting things can be seen using the graphic:

• When using CPU in horizontal axis and memory size in the vertical axis, both in logarithmic scales (like in the picture) an almost constant scalation factor of CPU and memory appears between instance steps.
• Because of this the instances bubbles appear to reside in two lines, almost equally separated between them. As it is expected, one line is memory intensive (m1, m2 families) and the other line is CPU intensive (c1, cc1, cc2 families)
• Althoug t1.micro seems to belong to the CPU intensive line, actually the 2 ECUs are allocated only for usage in short spikes.
• Storage size and I/O perfomance can be shown in the same graph using bubble color and sizes, with CPU and memory size in the axis. This can give a more complete view of the performance of all instances in the AWS portfolio.
• Trend line graph (topmost right icon) can be used to show the lowering prices trending in the latest years for each type of instance.

The database of features and prices, with information for all EC2 regions can be downloaded here (go to File->Open with, to export to a google spreadsheet). The table shows a dump of prices in each region for each date a relevant change has been done (e.g.: hourly price changes but also the addition of new instance types or new regions).

All information has been collected from Internet Archive WayBack Machine old AWS pricing tables. Pricing data are available until March 2011 when pricing tables began to be generated through javascript code and therefore have not been registered since then in the archive. The dates of relevant changes have been adjusted from the wayback machine snapshots timestamps using the announces in the awesome AWS blog and Amazon EC2 release notes log pages. Some data are still missing, namely:

• us-west-1 and sa-east-1 pricings before AWS lowered prices in March 2012
• cc1.4xlarge, cc2.8xlarge and cg1.4xlarge windows instances prices before AWS lowered prices in March 2012
• m2 family instances introduction prices, before AWS lowered prices in November 2009

If you happen to know any of these data, or find any error in the data source, I will be glad to be notified (please add a comment) to fix the source data and graphs.

VCP5-IaaS exam and vCloud Director links

Here is my compilation of links with information related to the VCP5-IaaS exam and vCloud Director. Also a place to save links to great great blogs out there. Will be updated, suggestions welcomed.

Experiences with actual exam (after Aug 2012):

• Larus Hjartarson @lhjartarson (see his excelent study guide, link below)
• Frank Brix Pedersen @frankbrix 

Experiences with beta-exam (before Aug 2012):

• VCP-IaaS Exam Experience
• by: Tom Fojta
• blog: Tom Fojta's Blog 
• Gearing Up For The VCP5-IaaS Exam
• by: Chris Wahl @chriswahl 
• blog: Wahl Network
• VCP5-IaaS Beta Exam experience
• by: Tomi Hakala @tphakala 
• blog: vReality
• First Impression of VCP-IaaS (VCPVCD511)
• by: mandivs
• blog: virtualpatel.blogspot.com

General information about the exam preparation:

• Get Certified In VMware Cloud Computing
• by: VMware
• blog: VMware vCloud Blog
• VMware VCP5-IAAS Study Matrix
• by: Justin Paul
• blog: Justin's IT Blog
• (All) The VCP5-IaaS documents, 
• by: Arjan Timmerman @Arjantim
• blog: vdicloud.nl
• see also everything related with vCD
• Study guide following the blueprint
• by: Jason Shiplett @jshiplett 
• blog: blog.shiplett.org
• Study guide following the blueprint
• by: Larus Hjartarson @lhjartarson
• blog: VM-Ice
• VCP5 to VCP5-IaaS scoop.it curation
• Fortunato Navarro @fnava
• blog: this one, not so excellent as others, but working on it :)

Information about vCloud Director, great material from their authors:

• VMware vCloud Director (vCD) articles
• by: Hugo Phan @hugophan
• blog: VMwire
• VMWare vCloud Director - Installation and Configuration
• by: Paul Forsthoff'
• blog: Everything Sharepoint
• vShield 5 Install and Deploy Video
• by: Eric Sloof @esloof
• blog: NTPRO.NL
• Installing vShield components on VMware vCloud Director
• by: Vmware
• vShield products packaging explained (with a focus on vCloud Director)
• by Massimo Re Ferre' @mreferre
• blog: it20.info
• How To Handle Some vCloud Director Challenges
• by Chris Colotti @ccolotti
• blog: ChrisColotti.us

VCP-Cloud y nuevas certificaciones VMware

¡Momento de cambios! con el VMWorld 2012 de San Francisco, VMware ha anunciado junto con otras muchas cosas el nuevo plan de certificaciones. Parece que ahora el VCP-IaaS que estoy preparando ya encaja en el puzzle:

Intentando aclararlo encuentro un post de Scott Vessey (scott28tt) y algún otro en los foros de vmware y la situación en la que creo que queda todo al nivel de VCP parece que es:

• VCP que hasta ahora tenia dos versiones VCP y VCP-DT pasa a tener cuatro especialidades:
• Datacenter Virtualization, que se correpondería con el actual VCP5
• Cloud, nueva certificacion, que se llama VCP-Cloud
• End User Computing, que se correspondería con el actual VCP5-DT
• Cloud Application Platform, para desarrolladores
• VCP-IaaS es el examen (pasarela) para aquelos VCP5 (ahora VCP5-DV) para conseguir la certificación VCP-Cloud
• Interpreto que en un futuro podría haber dos exámenes distintos para obtener VCP-Cloud y VCP-DV

Estó ultimo es posible que no ocurra hasta la siguiente major-version o que no ocurra nunca y siga todo como ahora, con un examen para certificarse en VCP-DV, centrado en  todo lo relacionado con VSphere y un examen para certificarse en VCP-Cloud, centrado en todo lo relacionado con vCloud Director

De modo que VCP-IaaS no es una certificación sino un alias para el examen VCPVCD510 que permitirá obtener la certificación VCP-Cloud. Me toca cambiar el nombre de mi pagina en scoop.it, lo de "From VCP5 to VCP5-IaaS" no es ya exacto.

Al menos así lo entiendo yo, aun tendrá que extenderse la noticia, que los popes de VMware la interpreten y despejen la confusión y VMware no decida cambiar de rumbo de repente. Aun así todo esto está por ver ya que alguna de estas actualizaciones aun no se reflejan en las paginas oficiales (p.ej VCP5 no ha sido renombrado y VCP-IaaS sigue mencionandose como certificación).

También muy interesante la aparición del nivel VCAP para Cloud y Desktop, aunque yo planeo quedarme por el cuadrante Cloud de momento y el VCAP-Cloud Infraestructure Design desde luego parece un buen lugar para seguir en un futuro, espero que no muy remoto.

Por supuesto el VMworld está trayendo un monton de otras novedades muy interesantes, como los nuevos modelo de licenciamiento, la renovación de sus productos a la versión 5.1 (ahora bajo la denominacion vCloud Suite 5.1), o la publicación de algunas presentaciones que otros años no se producía hasta bastante tiempo después... ¡tantas novedades y tan poco tiempo para ponerse al día!

Otras referencias:

• Nuevas certificaciones VMware de José Luis Gómez @pipoe2h (PIPO E2H – SOLUCIONES TIC AVANZADAS)
• VMware Reorganizes Certification Program del proveedor de cursos Fast lane
• Mi scoop.it  From VCP5 to VCP-Cloud

Inaugurando el TOGOLAB

¡¡TOGO TOGO TOGO!!

Ya tengo los servidores instalados y funcionando. Para que no ocupen mucho espacio de la casa les he puesto uno encima del otro y al verles apilados mi hija de año y medio les ha bautizado con el mismo nombre que da a todas sus construcciones de bloques: ¡¡TOGO TOGO TOGO!!

Sean bienvenidos pues a mis aventuras con el TOGOLAB.

Control de encendido del servidor con LO100i

Los Proliant ML110G6 vienen equipados con una IPMI BMC que es una versión de iLO simplificada (LightsOut 100i Advanced) que permite una gestión básica de energía y sensores desde un interfaz web. Con esto es posible iniciar, y parar todo el laboratorio desde otro equipo, lo que es muy conveniente para no tener que acceder físicamente a los equipos. Lo más interesante sin embargo será  montar una VPN con ayuda de OpenVPN en la  DiskStation para poder controlar los equipos en remoto desde cualquier lugar.

La función de KVM sobre IP,  que es lo más interesante de iLO, y un factor determinante para elegir estos servidores, no viene activada de serie, para ello hay que obtener una licencia de HP. Existe la opción de una licencia de evaluación por 60 dias tras los cuales será obligatorio conseguir una definitiva adquiriendola o por otros medios...

Consola remota usando el KVM sobre IP

La gestión remota se realiza por un interfaz de red separado del de sistema, lo que implica un cable más pero simplifica el switching al separar el trafico de iLO y de servicio sin necesidad de crear VLANs. Desde el KVM se puede interactuar con la consola del servidor y montar en remoto imagenes de medios de arranque.

Para un arranque rápido he decidido empezar montando un lab in a box con ayuda de Autolab. Aunque no sea mi opción preferida, más adelante lo podré hacer evolucionar a un entorno más "real". Para ello he montado en uno de los servidores (TOGO2) los 16GB de memoria que adquirí para repartir entre ambos y he dejado el otro (TOGO1) con sólo 2GB que son suficiente para hacer funcionar un Linux si hubiera necesidad.

El KVM funciona muy bien y he podido iniciar un ESXi instalado en un USB pendrive y configurar el acceso por red sin ningún problema. La instalación inicial en el pendrive la hice con ayuda de VMware Workstation en vez de montar un CD y instalar directamente en el servidor, simplemente porque tenía ya montada una maquina virtual para este propósito y así me aseguro que la instalación es correcta, de este modo que descartaba algun fallo en la misma en caso de problemas con el servidor. Para conseguir instalar ESXi en el pendrive basta con crear una maquina virtual que monte la ISO de instalación de la versión gratuita de demostración de ESXi, teniendo el lapiz USB conectado a la misma; el programa de setup de ESXi ofrecerá la opción de instalar en el pendrive, que debe ser al menos de 1GB (ESXi no usará más)

La tarjeta de red se reconoce correctamente y es posible acceder a los servicios del ESXi por el interfaz de sistema (que es distinto al de iLO) una vez asignada dirección IP.

El almacenamiento lo proveerá la DiskStation actuando como target iSCSI. Para el TOGOLAB he dedicado un grupo de discos (equivalente al RAID de discos en Synology) en exclusiva, separado de los grupos de discos para uso doméstico. He definido una LUN a nivel de archivo con thin provisioning. El motivo es que puedo crear otros datastores (NFS, LUNs para otros cluster) sin tener que definir o usar otros grupos de discos.

A continuación esta LUN se debe exportar como un iSCSI Target para que pueda ser usada. Puesto que podría usarse en un cluster (aunque de momento solo la montaré desde TOGO2), se debe indicar "Allow multiple sessions from one or more iSCSI Initiators".

Con el target creado y montado desde el ESXi, ya estoy deseoso y preparado para  importar las vApps del Autolab y ver en acción lo que parece un excelente trabajo de Alastair Cooke y Nick Marshall

Primeros pasos con Synology DS1512+

Lo primero que he abierto del equipo recién recibido es la DiskStation 1512+ de Synology, que tiene un aspecto más que estupendo;  pequeña, sólida (y pesada), aparenta robustez.  Montar los discos en sus caddies es muy sencillo, la tornillería que viene incluida se agradece. Para empezar le he enganchado dos discos Seagate ST3000DM001 de 3TB. 

Una vez inicializado, desde el encendido pasa un minuto tras el bip inicial desde que el led azul de encendido deja de parpadear y arranca el sistema operativo, que es DSM 4.0-2216. Digo esto porque en Abril se anunció que hay un lote DS1512+ y DS1812+ fabricados con un fallo en la memoria flash que provoca un fallo en el arranque, prolongando el periodo de parpadeo del led azul indefinidamente. Synology tiene una dirección de email en la que consultar si un numero de serie coincide con el del lote y tramitar un RMA en su caso.

En funcionamiento el equipo hace aproximadamente el mismo ruido que un PC de torre, que aunque es apreciable en una casa, casi no se percibiría en un entorno normal de oficina. Para la configuración inicial se usa el Synology Asistant que desde un PC autodetecta el equipo en la misma LAN, instala el sistema operativo (DSM) y los parametros de red y credenciales de acceso. A partir de ahí se puede usar el interfaz web que se publica por defecto en el puerto 5000 (http) y 5001 (https).

Para arrancar la he conectado a una red cableada para el laboratorio en un miniswitch que tenia a mano, y el siguiente paso ha sido conectarla a la WiFi mediante un WiFi-USB  de Belkin que al estar en la lista de dispositivos compatibles ha funcionado  a la primera. Este interfaz servirá a los usuarios domésticos y por el cable la configuración y el laboratorio. Desde el firewall incorporado en la DS se puede tener control de qué servicios son visibles desde cada interfaz.

El package center permite añadir apps de Synology y tambien de terceros que sigan el formato Synology Package File. Me quito el antojo probando Cloudstation que es un servicio de almacenamiento en la nube al estilo de Dropbox con base en la NAS. El servicio se publica en internet sin necesidad de abrir un puerto (NAT) en el router ADSL, para ello se apoya en ezCloud que es un  paquete de servicios que incluye un registro de DNS dinamico y un servicio de proxy inverso ofrecido gratuitamente desde los servidores de Synology y en el que se puede registrar la DiskStation desde su panel de control. Con ezCloud Basta con que la DiskStation tenga acceso a internet y que desde el extremo del usuario haya un cliente instalado. Los archivos en la nube se alojan dentro de la NAS en un directorio "/home" privado de cada usuario.

Como es demasiada tentación disponer de esta cabina de almacenamiento y no poner orden en casa, ya he empezado a mover datos desde mi PC a la NAS, algunos de forma definitiva otros como replica de datos de trabajo. Para ello ya he definido una estrategia que comentaré en un post posterior y que aprovecha el sistema de cifrado y backup de la DiskStation.

Algo muy agradable ha sido comprobar que el sistema operativo es básicamente un Linux adaptado y se permite acceso via shell (Telvent, SSH) incluso con permisos de root (es la misma password que la del usuario admin). Esto permite trastear y sortear algunos problemas montando el laboratorio.  Como no voy a tender un cable por toda la casa desde miniswitch para conectarlo directamente al router ADSL, es necesario que haya una maquina actue de router entre la WiFi y la red cableada, idealmente una máquina que no se apague y esté siempre disponible; la DiskStation es el candidato ideal, y como es un Linux se puede activar el ip forwarding en el kernel fácilmente desde la shell, como root:

echo 1 > /proc/sys/net/ipv4/ip_forward

y como no quiero toquetear la tabla de rutas del punto de acceso que nos da el operador de ADSL (es muy básico y poco fiable), pues haré NAT desde la NAS y que se presente como fuente de las conexiones al exterior que tengan origen en la red del laboratorio. Con iptables es posible configurar el NAT pero hay que cargar el modulo de masquerade en el kernel. Para no complicar el tema y como después planeo montar una VPN, lo más rápido es seguir esta sugerencia e instalar el package VPN que incluye los módulos y automatiza su carga. Tras ello basta con ejecutar en una shell como root:

iptables -t nat -A POSTROUTING -o wlan0 -j MASQUERADE

que se aplica a todos los paquetes dirigidos a la wireless LAN y aisla razonablemente bien el tráfico del laboratorio del doméstico.

Asi que gracias a Synology, la magia de Linux y una tarde de trabajo ya tengo NAS y router funcionando para mi Cloud Computing Home Lab. Contento y feliz.