Era del Big Data: cinco principales tendencias tecnológicas en análisis empresarial
Era del Big Data: cinco tendencias tecnológicas en análisis empresarial
Actualmente, los centros de tendencias están tan centrados en cómo abordar los desafíos analíticos como en cómo aprovechar al máximo las oportunidades en nuevas Intensidad de las perspectivas de negocio. Por ejemplo, a medida que más y más empresas comienzan a manejar grandes cantidades de datos y consideran qué hacer con ellos, están comenzando a surgir tecnologías para gestionar y analizar conjuntos de datos grandes y dispares. Analizar las tendencias de costos y desempeño por adelantado significa que las empresas pueden hacer preguntas más complejas que antes, proporcionando más información útil para ayudarlas a administrar sus negocios.
En la entrevista, los CIO resumieron cinco tendencias principales de TI que afectan su análisis. Ellos son: el crecimiento del big data, la tecnología de procesamiento rápido, la caída del costo de los productos básicos de TI, la popularidad de los dispositivos móviles y el crecimiento de las redes sociales. 1. Big data
Big data se refiere a conjuntos de datos muy grandes, especialmente aquellos que no están bien organizados y no pueden caber en los almacenes de datos tradicionales. Los datos de las arañas web, las fuentes de redes sociales y los registros de servidores, así como los datos de las cadenas de suministro, las industrias, los entornos circundantes y los sensores de vigilancia, están haciendo que los datos de una empresa sean más complejos que nunca.
Sin embargo, no todas las empresas necesitan la tecnología para manejar grandes conjuntos de datos no estructurados. Perry Rotella, director de información de Verisk Analytics, cree que todos los directores de información deberían prestar atención a las herramientas de análisis de big data. Verisk ayuda a las empresas financieras a evaluar los riesgos y trabajar con las compañías de seguros para prevenir el fraude de seguros. Sus ingresos en 2010 superaron los mil millones de dólares.
Rotella cree que la actitud que deberían adoptar los líderes tecnológicos es que cuantos más datos, mejor, y acogen con satisfacción el crecimiento sustancial de los datos. El trabajo de Rotella es encontrar de antemano conexiones y modelos entre las cosas.
Cynthia Nustad, directora de información de HMS, cree que el big data presenta una tendencia de crecimiento "explosiva". El negocio de HMS incluye ayudar a controlar los costos de los programas Medicare y Medicaid y los servicios de nube privada. Sus clientes incluyen más de 40 programas estatales de servicios humanos y de salud y más de 130 planes administrados por Medicaid. HMS ayudó a sus clientes a recuperar 1.800 millones de dólares en pérdidas en 2010 al evitar pagos erróneos, ahorrando miles de millones de dólares. Nustad dijo: "Estamos recopilando y rastreando una gran cantidad de material, incluidos datos estructurados y no estructurados, porque no siempre sabes qué vas a encontrar en ellos
El big data del que más se habla". tecnología Una de las tecnologías es Hadoop. La tecnología es una plataforma de procesamiento de datos distribuidos de código abierto desarrollada originalmente para tareas como la edición de índices de búsqueda web. Hadoop es una de varias tecnologías "no relacionales (NoSQL)" (incluidas CouchDB y MongoDB) que organizan datos a escala web de formas especiales.
Hadoop puede asignar subconjuntos de datos a cientos o miles de servidores para su procesamiento. Los resultados reportados por cada servidor serán organizados por un programador de trabajo principal, por lo que tiene la capacidad de procesar datos a nivel de petabytes. Hadoop se puede utilizar tanto para la preparación de datos antes del análisis como como herramienta de análisis. Las empresas que no tienen miles de servidores inactivos pueden comprar acceso bajo demanda a instancias de Hadoop de proveedores de nube como Amazon.
HMS está explorando el uso de la tecnología NoSQL, aunque no para sus grandes bases de datos de reclamaciones de Medicare y Medicaid, dijo Nustad. Incluye datos estructurados y puede procesarse mediante tecnología de almacenamiento de datos tradicional. Dijo que no sería prudente comenzar con la gestión tradicional de bases de datos relacionales para responder qué tecnología relacional ha demostrado ser la mejor solución. Sin embargo, Nustad cree que Hadoop está desempeñando un papel importante en la prevención del fraude y el análisis de desperdicio y tiene el potencial de analizar los registros de pacientes informados en varios formatos.
En las entrevistas, los CIO entrevistados que habían experimentado Hadoop, incluidos Rotella y Shopzilla CIO, Jody Mulkey, trabajaban en empresas que incluían servicios de datos como negocio.
Mulkey dijo: "Estamos usando Hadoop para hacer cosas para las que hemos usado almacenes de datos en el pasado. Más importante aún, hemos obtenido tecnología de análisis práctica y útil que nunca antes habíamos usado". Por ejemplo, como empresa que compara sitios de compras, Shopzilla acumula terabytes de datos todos los días. Dijo: "Antes, teníamos que muestrear los datos y clasificarlos. Esta carga de trabajo era muy pesada al procesar datos masivos". Desde que adoptó Hadoop, Shopzilla puede analizar los datos sin procesar y omitir muchos pasos intermedios.
GoodSamaritan Hospital es un hospital comunitario en el suroeste de Indiana que se encuentra en una categoría diferente. "No tenemos lo que yo consideraría big data", dijo Chuck Christian, director de información del hospital. Aún así, los requisitos regulatorios lo obligan a almacenar tipos de datos completamente nuevos, como registros médicos electrónicos masivos. Dijo que esto sin duda requerirá que puedan recopilar información sobre la calidad de la atención médica a partir de los datos. Sin embargo, es probable que esto se logre dentro de asociaciones sanitarias regionales o nacionales y no dentro de hospitales individuales como el de ellos. Por lo tanto, es posible que Christian no necesariamente invierta en esta nueva tecnología.
John Ternent, director de información de Island One Resorts, dijo que los desafíos de análisis que enfrenta dependen de si se trata de "grandes" o "datos" en big data. Por ahora, sin embargo, está considerando cautelosamente el uso de instancias de Hadoop en la nube como una forma económica de analizar carteras hipotecarias complejas. Actualmente, la empresa gestiona ocho complejos turísticos de tiempo compartido en Florida. Dijo: "Esta solución tiene el potencial de resolver los problemas reales que enfrentamos actualmente". 2. Acelerar la velocidad del análisis empresarial
Vince Kellen, director de información de la Universidad de Kentucky, cree que es grande. La tecnología de datos es sólo un gran problema en el análisis rápido. Un elemento de la tendencia. "Lo que estamos buscando es un enfoque más avanzado para analizar cantidades masivas de datos", dijo. El tamaño de los datos no es tan importante como analizarlos más rápidamente, "porque lo que se desea es que el proceso se realice rápidamente". ".
Debido a que la informática actual puede procesar más datos en la memoria, puede calcular los resultados más rápido que buscar datos en el disco duro. Esto es cierto incluso si sólo se trata de unos pocos gigabytes de datos.
A pesar de décadas de desarrollo, el rendimiento de la base de datos ha mejorado mucho al almacenar en caché los datos a los que se accede con frecuencia. Esta técnica resulta aún más útil cuando se cargan grandes conjuntos de datos en la memoria de un servidor o clúster de servidores, donde el disco duro sólo se utiliza como copia de seguridad. Debido a que recuperar datos de un disco giratorio es un proceso mecánico, es mucho más lento que procesar los datos en la memoria.
Rotella dijo que el análisis que realiza ahora en segundos le habría llevado una tarde hace cinco años. La empresa de Rotella se centra en el análisis prospectivo de grandes conjuntos de datos, lo que a menudo implica realizar consultas, encontrar modelos y realizar ajustes antes de la siguiente consulta. El tiempo de finalización de la consulta es muy importante cuando se trata de la velocidad del análisis. Dijo: "En el pasado, el tiempo de ejecución era más largo que el tiempo de modelado, pero ahora el tiempo de modelado es más largo que el tiempo de ejecución.
El servidor de base de datos en columnas cambia la estructura tradicional de filas y columnas". la base de datos relacional y resuelve el problema cumple con otros requisitos de rendimiento. Las consultas solo acceden a columnas útiles, en lugar de leer el registro completo y seleccionar columnas opcionales, lo que mejora enormemente el rendimiento de las aplicaciones que organizan o miden columnas críticas.
Ternent advirtió que las ventajas de rendimiento de las bases de datos en columnas requieren un diseño de consulta y aplicación adecuados. "Para hacer una distinción hay que hacer las preguntas correctas de la manera correcta", afirmó. Al mismo tiempo, también señaló que las bases de datos en columnas sólo son útiles para aplicaciones que manejan más de 500 gigabytes de datos. .
Dijo: "Hay que recopilar datos a escala antes de que una base de datos en columnas pueda funcionar, porque depende de un cierto nivel de repetición para mejorar la eficiencia".
Allan Hackney, director de información de seguros y finanzas. El gigante de servicios John Hancock Company dijo que para mejorar el rendimiento del análisis, también es necesario mejorar el hardware, como agregar chips GPU, que son los mismos procesadores gráficos que se utilizan en los sistemas de juegos. Dijo: "Los métodos de cálculo necesarios para la visualización son muy similares a los utilizados en el análisis estadístico. Los procesadores gráficos pueden calcular cientos de veces más rápido que los procesadores de servidores y PC comunes. Nuestros analistas están muy enamorados de este dispositivo 3. Los costos de la tecnología están cayendo".
A medida que crece la potencia informática, la tecnología analítica está empezando a beneficiarse de la caída de los precios de la memoria y el almacenamiento. Al mismo tiempo, a medida que el software de código abierto se convierte gradualmente en una alternativa a los productos comerciales, la presión competitiva también ha provocado nuevas caídas en los precios de los productos comerciales.
Ternent es partidario del software de código abierto. Antes de unirse a IslandOne, Ternent fue vicepresidente de ingeniería en Pentaho, una empresa de inteligencia empresarial de código abierto. Dijo: "Para mí, el código abierto determina el campo de entrada. Porque las empresas medianas como IslandOne pueden utilizar la aplicación de código abierto R para reemplazar SAS para el análisis estadístico.
En el pasado, el código abierto". Las herramientas solo tenían funciones básicas de generación de informes, pero ahora ofrecen el análisis predictivo más avanzado. Dijo: "Actualmente, los participantes de código abierto pueden abarcar todo el espectro, lo que significa que cualquiera puede usarlos". Nustad de HMS cree que los cambios en los costos informáticos están modificando algunas opciones de infraestructura. Por ejemplo, un factor tradicional en la creación de un almacén de datos es reunir los datos en servidores con una potente potencia informática para procesarlos. Separar las cargas de trabajo de análisis del sistema operativo puede evitar la degradación del rendimiento de las cargas de trabajo del día a día cuando la potencia informática es insuficiente. Nustad dijo que esta ya no es una opción adecuada en este momento.
“A medida que el hardware y el almacenamiento se vuelven más baratos, se puede hacer que estos sistemas operativos manejen una capa de inteligencia empresarial”, dijo. Al reformatear y cargar datos en los almacenes, se pueden construir directamente sobre las operaciones. proporcionar respuestas más rápidamente.
Hackney observa que aunque las tendencias precio/rendimiento favorecen los costos de gestión, estos ahorros potenciales se verán compensados por las crecientes demandas de capacidad. Aunque los costos de almacenamiento por dispositivo de John Hancock cayeron entre un 2% y un 3% este año, el consumo aumentó un 20%. 4. Popularidad de los dispositivos móviles
Como todas las aplicaciones, la inteligencia empresarial es cada vez más móvil. Para Nustad, la inteligencia empresarial móvil tenía prioridad porque todos querían que Nustad pudiera acceder personalmente a informes sobre si su empresa estaba cumpliendo con sus acuerdos de nivel de servicio, en cualquier momento y en cualquier lugar. También espera brindar a los clientes de la compañía acceso móvil a datos para ayudarlos a monitorear y administrar los gastos de atención médica. Ella dijo: "Esta es una característica que les gusta mucho a los clientes. Hace cinco años, los clientes no necesitaban esta característica, pero ahora la necesitan.
Para los CIO, es importante atender esto". La tendencia se centra más en crear interfaces de usuario adecuadas para teléfonos inteligentes, tabletas y dispositivos de pantalla táctil que en capacidades analíticas más sofisticadas. Quizás por esta razón, Kellen piensa que es relativamente fácil. "Para mí, es sólo una pequeña cosa", dijo.
Rotella no cree que sea simple. Dijo: "La informática móvil afecta a todos. Mucha gente utiliza iPads para trabajar y otros dispositivos móviles están explotando. Esta tendencia se está acelerando y cambiando la forma en que interactuamos con los recursos informáticos dentro de la empresa. Por ejemplo, se han desarrollado productos Verisk". que permiten a los ajustadores de reclamos realizar rápidamente análisis en el campo para que puedan realizar evaluaciones de costos de reemplazo. Dijo: “Este enfoque tiene un impacto en nuestro análisis y al mismo tiempo lo pone a disposición de todos los que lo necesiten.
Rotella dijo: “El factor que desencadena este desafío es la velocidad de actualización de la tecnología. Hace dos años no teníamos iPads y ahora mucha gente los usa. A medida que surgen múltiples sistemas operativos, intentamos comprender cómo impactan nuestro desarrollo para no tener que escribir estas aplicaciones una y otra vez. Por otro lado, la necesidad de crear aplicaciones nativas para cada plataforma móvil puede estar disminuyendo a medida que los navegadores de teléfonos y tabletas se vuelven más potentes, señaló Ternent de IslandOne: "Si pudiera usar una aplicación basada en web específicamente para dispositivos móviles, lo haría. No estoy seguro de si invertiría en una aplicación móvil personalizada", afirmó Ternent. ” 5. La incorporación de las redes sociales
Con el auge de las redes sociales como Facebook y Twitter, cada vez más empresas quieren analizar los datos generados por estos sitios web. Las aplicaciones de análisis recientemente lanzadas apoyan el procesamiento del lenguaje humano. , Las técnicas estadísticas como el análisis de sentimientos y el análisis de redes no forman parte del típico conjunto de herramientas de inteligencia empresarial.
Debido a que son nuevas, un ejemplo de esto es la disponibilidad de muchas herramientas de análisis de redes sociales Radian6. es un producto de software como servicio (SaaS) adquirido recientemente por Salesforce.com. Es un panel de redes sociales para comentarios en Twitter, publicaciones en Facebook, publicaciones y comentarios en blogs y foros de discusión. mostrado como números positivos y negativos, especialmente para proporcionar inferencias visuales vívidas para las marcas. Cuando los compran los departamentos de marketing y servicio al cliente, este tipo de herramienta ya no depende mucho del departamento de TI. todavía cree que hay que prestarles mucha atención: "Mi trabajo consiste en identificar estas tecnologías, evaluar qué algoritmos son adecuados para la empresa en función de la competitividad y luego empezar a formar a las personas adecuadas.
Las universidades, al igual que otras empresas, están interesadas en monitorear la reputación de sus instituciones. Al mismo tiempo, Kellen dijo que también puede buscar oportunidades para desarrollar aplicaciones diseñadas específicamente para abordar las preocupaciones de las escuelas, como . Monitorear la inscripción de los estudiantes, por ejemplo, monitorear las publicaciones de los estudiantes en las redes sociales puede ayudar a las escuelas y a los administradores a comprender los problemas que enfrentan los estudiantes en la universidad lo antes posible. Kellen dijo que Dell ya ha hecho este trabajo. Dijo que los desarrolladores de TI también deberían encontrar formas de enviar alertas de análisis de redes sociales a las aplicaciones para que las empresas puedan responder rápidamente a incidentes relacionados. Hackney dijo: “No tenemos el conocimiento ni las herramientas. para procesar y extraer el valor de publicaciones masivas en las redes sociales. Sin embargo, una vez que haya recopilado los datos, deberá poder obtener suficiente información sobre los eventos de la empresa para correlacionarlos. Si bien Hackney califica los esfuerzos de John Hancock en esta área como "en su infancia", cree que los departamentos de TI desempeñarán un papel importante en la correlación de datos proporcionada por los servicios de análisis social sobre los datos de la empresa, por ejemplo, si los datos de las redes sociales muestran que la empresa comenta en redes sociales. en el Medio Oeste es cada vez más negativo, por lo que querrá ver si la empresa realiza cambios de precio o de estrategia en la región que reviertan esa tendencia negativa, dijo Hackney. El objetivo de la cuasi correlación es convencer a los líderes de la empresa de que invertir en las redes sociales. tiene un alto rendimiento, dijo: “En mi industria, todos son actuarios, todos calculan y no basan nada en ello. ”
Lo anterior es el contenido relevante compartido por el editor sobre la era del big data: las cinco principales tendencias tecnológicas de análisis empresarial. Para obtener más información, puede seguir a Global Ivy para compartir más información seca.