BIG DATA

Hive es un sistema de Data Warehouse para Hadoop que facilita el uso de la agregación de los datos, ad-hoc queries, y el análisis de grandes datasets almacenados en Hadoop. Hive proporciona métodos de consulta de los datos usando un lenguaje parecido al SQL, llamado HiveQL. Además permite de usar los tradicionales Map/Reduce cuando el rendimiento no es el correcto. Tiene interfacesJDBC/ODBC, por lo que empieza a funcionar su integración con herramientas de BI.
HBase, se trata de la base de datos de Hadoop. HBase es el componente de Hadoop a usar, cuando se requiere escrituras/lecturas en tiempo real y acceso aleatorio para grandes conjuntos de datos. Es una base de datos orientada a la columna, eso quiere decir que no sigue el esquema relacional. No admite SQL.
Zookeeper es un proyecto de Apache que proporciona una infraestructura centralizada y de servicios que permiten la sincronización del cluster. ZooKeeper mantiene objetos comunes que se necesiten en grandes entornos de cluster. Algunos ejemplos de estos objetos son información de la configuración, jerarquía de nombres
Apache Pig, inicialmente desarrollado por Yahoo, permite a los usuarios de Hadoop centrarse más en el análisis de los datos y menos en la creación de programas MapReduce. Para simplificar el análisis proporciona un lenguaje procedural de alto nivel. Su nombre viene de la siguiente analogía, al igual que los cerdos comen de todo, el lenguaje de programación Pig está pensado para poder trabajar en cualquier tipo de datos. Pig consta de dos componentes:El lenguaje en si, llamado PigLatin, y el entorno de ejecución, donde los programas PigLatin se ejecutan.
Big Data y Big Data Analitics
1. La unión de Big Data y Analytics permite a las empresas aumentar sus ingresos, disminuir sus costes y ser más competitivos dentro de su sector. Esa es la razón por la que este tipo de soluciones están ganando aceptación tan rápidamente en la actualidad.
  1. Tipos de datos que gestiona Big data
  2. Datos estructurados (Structured Data): Datos que tienen bien definidos su longitud y su formato. Tablas de BD Relacionales, Hojas de cálculo
  3. Datos no estructurados (Unstructured Data): Datos en el formato tal y como fueron recolectados, carecen de un formato específico. Ejemplos: PDF, documentos multimedia, e-mails o documentos de texto.
  4. Datos semiestructurados (Semistructured Data): Datos que no se limitan a campos determinados. Estos datos poseen sus propios metadatos semiestructurados que describen los objetos y las relaciones entre ellos, y pueden acabar siendo aceptados por convención. Un ejemplo es el HTML, el XML o el JSON.
2. El análisis de Big Data ayuda a las organizaciones a aprovechar sus datos y utilizarlos para identificar nuevas oportunidades.
  1. Plataformas y herramientas de gestión de Big Data
  2. HADOOP
  3. Es un sistema de ficheros distribuido, escalable y portatil escrito en Java y creado especialmente para trabajar con ficheros de gran tamaño.
  4. MAPREDUCE
  5. STORM
  6. SPARK
  7. KAFKA
  8. YARN
DATA LAKE VS DATA WAREHOUSE
1. Largos de datos y almacenes de datos son patrones de diseño, pero en realidad son polos opuestos.
2. Los almacenes de datos son un enfoque basado en la estructuración y empaquetado de datos en aras de la calidad, la coherencia, la reutilización y la facilidad de uso.
3. Los largos de datos complementan los almacenes de datos con un patron de diseños centrados en la fidelidad de los RAW data originales y almacenan a largo plazo a un bajo costo.
4. Los largos de datos ofrecen al mismo tiempo una nueva forma de agilidad analítica.
Es un gran repositorio lógico de datos que permite el acceso y la manipulación flexible de grandes volumenes de información provenientes tanto de transacciones detalladas como de datos agregados.
Fundamentos de Análisis, Analítica y Tipos de Máquina de Aprendizaje.
1. Análisis Cuantitativo
2. Análisis Cualitativo
3. Minería de Datos
BENEFICIOS DE BIG DATA
1. TOMA DE DESICIONES
  1. Analizando el Big Data puedes conseguir la información que necesitas para tomar mejores decisiones de negocio y poder realizar movimientos estratégicos.
2. MAYOR INNOVACIÓN
  1. Se pueden analizar parámetros relativos al perfil específico de cada usuario, sus preferencias, sus tendencias o su vinculación a la marca, de forma que nos sea posible elaborar campañas dirigidas de marketing con un nivel alto de personalización.
3. SATISFACCIÓN DEL CLIENTE
  1. El Big Data te ayuda a conocer a los clientes a los que te diriges, hacerles sentir especiales, y, en definitiva, aumentar su nivel de satisfacción y fidelidad.
4. NUEVOS PRODUCTOS
  1. El Big Data nos permitirá anticiparnos al consumidor, predecir su comportamiento y saber por qué va a comprar nuestro producto y no otro, bien sea en el terminal de ventas de un supermercado, bien en una plataforma online.
5. MAYORES VENTAS
  1. El instante ideal para realizar una venta cruzada es cuando el cliente desconoce que cuentas con un producto o servicio que él necesita y que mejorará su experiencia.
Volumen
1. Una gran cantidad de información producida en muy poco tiempo.
Velocidad
1. La velocidad de datos se traduce en la cantidad de tiempo que toma los datos para ser procesados, copiando con las rápidas entradas de datos requiere la empresa diseñar soluciones de alta elasticidad y procesamiento disponible y capacidades de almacenamiento correspondientes.
Variedad
1. Se refiere a los múltiples formatos y tipos de datos que necesita soportar las soluciones de Big Data, tal como datos estructurados, semi-estructurados y no estructurados . La variedad de datos trae cambios para las empresas en términos de integración, transformación, procesamiento y almacenamiento de la informacion.
Veracidad
1. La veracidad se refiere a la calidad o fidelidad de los datos. Los datos existentes en entornos Big Data pueden ser significativos o agregados en desorden. Los datos evaluados en relación a la veracidad son: Ruido y Señal.
Valor
1. El valor es definido como la utilidad de de los datos para una empresa. La característica del valor es directamente relacionada a la característica de veracidad en que los datos son altamente fiables, estos tienen más valor para la empresa.
Tipos de Analítica
1. Analítica Descriptiva
2. Analítica Diagnóstica
3. Análitica Predictiva.
4. Analítica Prescriptiva.
Maquinas de Aprendizaje
1. Aprendizaje supervisado.
2. Aprendizaje no supervisado.
DEFINICIÓN
DEFINICIÓN
1. Específicamente, Big Data direcciona distintas necesidades, como la combinación de múltiples conjuntos de datos no relacionados, procesamiento de grandes cantidades de datos no estructurados y recolección de información oculta, de manera sensible al tiempo.
2. Subtopic 2