SonarQube, uso desde eclipse

Segunda entrada sobre el SonarQube, en este caso y a diferencia de la primera entrega, en la que vimos la instalación y primer uso, en esa ocasión vamos a ver el uso desde el entorno de desarrollo Eclipse.

Este tipo de herramientas son muy útiles para tener un cierto control sobre el código fuente de nuestros desarrollos.

Pueden llegar a ser un poco delicados si se abusa del número de reglas que apliquemos, pero con una configuración inteligente puede resultar una herramienta muy útil.

Os dejo el vídeo.

BigData explicado como para mi madre

El otro día me hicieron una petición en el vídeo que tengo en YouTube sobre Apache Spark. Explicar que es el BigData.

Voy a intentar explicarlo como si se lo contase a mi madre. Es decir de forma muy didáctica.

Porque surgió

Las aplicaciones y las herramientas que existían en el mercado estaban orientadas a tamaños de empresas, mas o menos grandes. Por ejemplo se podía tener una base de datos con todos sus clientes. Eso son cientos, miles quizá  millones de personas.

Pero con la llegada de Internet las empresas como Google, FaceBook, etc empezaron a necesitar manejar volúmenes mas grandes, cientos de millones de clientes.

Y simplemente las herramientas que había no aguantaban tanto volumen, así que se tuvieron que crear herramientas nuevas.

Que ha supuesto esto

En el momento que se crean herramientas que pueden manejar volúmenes inmensos de información las organizaciones pueden empezar a almacenar datos que antes no podían. Y sobre todo pueden procesarlas.

Esto hace que con el BigData se puedan responder a preguntas que antes no se podían responder, porque no se podía almacenar ni procesar esos volúmenes de datos.

Necesito un BigData

Hoy día parece que si no tienes un BigData no eres nadie en este mundo, pero eso no es cierto. Los sistemas tradicionales aguantan bastante carga y no es tan fácil llevarlos al límite para una organización pequeña o mediana.

Si tienes un problema y lo puedes solucionar con una herramienta tradicional, no uses un BigData. Te va a salir mucho mas caro.

El BigData es un producto

Se habla mucho del BigData y puede parecer que es un producto que instalas y ya está, pero nada mas lejos de la realidad. Hay multitud de productos que encajan en la denominación de BigData, incluso muchos son equivalentes.

Cuando usar un BigData

Normalmente se habla de usar soluciones de BigData cuando tienes una o varias de las 3 V, que son Velocidad, Variedad o Volumen.

Es decir, por ejemplo tienes un volumen gigantesco de datos, o tienes una necesidad de velocidad de proceso de los datos muy alta o bien tienes una variedad de datos muy alta.

SonarQube #1: Instalación y primer vistazo

Empezamos una nueva serie sobre una herramienta de cuadro de mando de calidad. Es muy utilizada porque tiene una versión bastante completa que es gratuita.

Permite tener un cuadro de mando de la calidad del código y centralizar la gestión.

Pero mejor vamos a ver como se instala y a echarle un primer vistazo.

Elasticsearch en cluster

Una prueba de concepto de la réplica de elasticsearch. Con un Logstash cargando datos, tres elasticsearch y un Kibana, todo manejado con docker compose y Kitematic.

El objetivo es comprobar cómo funciona el cluster de elasticsearch en el caso de que se vayan cayendo diferentes servidores o nodos. Se puede ver como el cluster de elasticsearch va respondiendo.

 

Apache Camel cookbook

Hoy toca el segundo libro sobre apache camel. Sí efectivamente el libro que no me gustó como ya os comenté en la anterior entrada sobre el libro de Apache camel.

Así que tampoco me voy a extender mucho en esta entrada el mejor libro es el de Apache camel in action.

 

Camel in Action

En esta ocasión os traigo la revisión / opinión de un libro sobre una herramienta de integración de aplicaciones. La herramienta se llama Camel y el libro es Camel in Action, de la editorial Manning.

Es una herramienta que implementa los conocidos patrones de integraciones de aplicaciones. Es bastante interesante porque te evita el lidiar con toda la infraestructura en este tipo de trabajos.

Al final en el proyecto no lo usamos pero me quedó una gran impresión de sus capacidades. Y el libro está realmente bien explicado, pese a estar en inglés.

 

Migración a Spark 2.0

Esta es la cuarta entrega de la serie de videotutoriales sobre BigData. En esta ocasión lo que vamos a ver es la migración desde la versión 1.6 de los ejemplos del tercer video a la versión 2.0 de Spark.

Así que trabajaremos con el API de SQL, que es en el que se basan los videos anteriores.

Estos cambios para aplicaciones Java tienen su cierto trabajo ya que hay un API que desaparece. concretamente es el DataFrame.

El código lo tenéis en mi github

 

ULP: como estructurar tus sistemas de información

En esta ocasión os traigo mi opinión sobre un libro de tratamiento de logs.

El libro en cuestión es Unified Log Processing de la editorial Manning, de la que tengo bastantes libros como ya os he contado en otras ocasiones.

Lo primero que hay que decir es que se diferencia entre logs y trazas. Aunque normalmente desde el mundo del desarrollo se habla indistintamente de los dos conceptos en este libro se hace una diferenciación. Trazas se refiere a las típicas de debug, info, warning y error, es decir las trazas de depuración de un programa y logs se refieren mas al cuaderno de bitácora, con cosas como fulanito se ha dado de alta, menganito ha hecho un ingreso de X euros.

Es el libro el autor lo que propone es una forma de organizar los sistemas de información incorporando un sistema de eventos del que puedan consumir todas las aplicaciones. Técnicamente se basa mayormente en Apache Kafka.

Me ha parecido un libro bastante interesante, no solo para alguien que tenga que realizar un procesamiento de logs, sino también para alguien que necesite hacer un procesado de mensajes con tecnologías como JMS, ya que da una visión general de como se deben construir sistemas de eventos/mensajería.

 

Libro de referencia sobre arquitecturas para BigData

En esta ocasión traigo mis opiniones sobre un libro, que para mi ha sido fundamental en comprender las arquitectura empleadas en las soluciones de BigData.

Es un libro de la editorial Manning, de la que tengo bastantes libros.

Se centra en explicar la arquitectura lambda. El libro se organiza en un capitulo teórico y otro capitulo técnico que sirve de ejemplo de la teoría.

Libro altamente recomendable.

Reseña libro Spark in Action

En esta ocasión os quiero dejar un vídeo de una reseña, o más bien opinión de un libro que he utilizado para aprender sobre Apache Spark.

El libro se llama Spark in Action.

Probablemente sea el libro más flojo de la línea de In Action que tengo. Yo lo achaco a que el tratar con cierta profundidad una herramienta tan extensa es complicado de hacer en un único libro.

De todas maneras me parece un libro muy indicado para la gente que quiera introducirse en el mundo de Spark y del BigData.