La nueva generación de la deduplicación y compresión de datos

En este mundo en el que los datos crecen a un ritmo sin precedentes, organizaciones de todos los tamaños buscan maximizar el almacenamiento y gestión de los datos a lo largo de su ciclo de vida. Este constante desafío ha llevado a la proliferación de tecnologías como el ‘thin provisioning’, ‘tiering’ automatizada y el almacenamiento ‘scale-out’, que pueden ofrecer un ahorro de gastos de capital y operativos. Mediante la gestión inteligente de los recursos estas tecnologías mejoran las tasas de utilización, aumentan la eficiencia energética y simplifican la gestión.



Los avances en las tecnologías de deduplicación y compresión están permitiendo a las compañías aumentar aún más sus tasas de utilización a través de lo que Dell llama ‘optimización del almacenamiento sensible a los contenidos’ –conocido también como deduplicación basada en objetos que permite reducir de manera significativa los tamaños de los datos y así obtener un gran ahorro en costes y en recursos de gestión.



A un nivel básico, la deduplicación es el proceso por el que se eliminan las copias duplicadas de los datos y se reemplazan con punteros a una única copia. Su uso permite a las organizaciones alcanzar dos objetivos: reducir la cantidad de espacio de almacenamiento necesaria y disminuir el volumen de datos durante los procesos de copia de seguridad o de replicación. En la actualidad, el uso principal de la deduplicación es el almacenamiento para copias de seguridad, debido a la gran cantidad de datos estáticos que las empresas deben respaldar mediante estas copias. No obstante, la tecnología de deduplicación se ha integrado en otras plataformas incluyendo las de almacenamiento en red (NAS). 



Algunos procesos de deduplicación examinan los archivos en su totalidad para determinar si están duplicados, lo que se conoce como deduplicación a nivel de archivo (o almacenamiento de instancia única). Sin embargo, otros procesos dividen los datos en bloques y tratan de encontrar duplicados en ellos (duplicación al nivel de los bloques). Normalmente, la deduplicación a nivel de bloques produce más granularidad y una reducción mayor del espacio de almacenamiento que la de nivel de archivo. Esto es especialmente interesante desde la perspectiva de las copias de seguridad. Ambos tipos de deduplicación se usan con frecuencia en la actualidad. A pesar de ello, existe una opinión generalizada de que estos enfoques podrían no ser suficientes para responder al crecimiento de ‘big data’ en industrias como las del petróleo y el gas, las ciencias biológicas, los medios de comunicación y el ocio.



Actualmente, ha aparecido una forma de deduplicación más inteligente: la deduplicación basada en objetos. Las compañías pueden aprovecharse de una tecnología de nueva generación hecha a medida para su industria. Esto se puede conseguir mediante una solución que llena el vacío entre las aplicaciones y las simples plataformas de almacenamiento para optimizar la manera en que se almacenan los datos. Esta tecnología de optimización identifica cómo se estructura un archivo concreto, lo divide en sub-archivos y luego selecciona el algoritmo de compresión más efectivo para dicho archivo en una librería de más de 100. Aunque el archivo no se haya identificado antes y no existan compresores específicos para su contenido, la tecnología establecerá la información sobre la estructura y naturaleza de los contenidos para seleccionar el algoritmo de reducción de datos más efectivo. Al comprender la distribución de archivos de aplicaciones específicas —como un programa de correo electrónico o una imagen digital — puede tomar decisiones inteligentes para deduplicar y comprimir sus datos de manera óptima.



Los componentes centrales del sistema de procesamiento de datos de Dell incluyen dos tipos de algoritmos sensibles al contenido y una red neural para probar y seleccionar distintos compresores con el objetivo de obtener la máxima eficiencia. Estos dos tipos de algoritmos son denominados algoritmos de de-estratificación (que disecciona los archivos para identificar sub-objetos contiguos), y los algoritmos de reducción de datos (que incluyen la deduplicación y la compresión). Estos compresores personalizados están más capacitados para enfrentarse a la reducción de los tipos de datos específicos para cada industria.



Para sacarle el máximo partido a la deduplicación, esta tecnología debe aplicarse a toda la infraestructura tecnológica de una empresa. Con este fin, Dell está introduciendo tecnologías de optimización de almacenamiento en gran variedad de soluciones de almacenamiento primario, archivo y copia de seguridad. La deduplicación y compresión estarán integradas en Dell Scalable File System y Dell Object Storage. Una vez deduplicados, los datos se pueden trasladar de un sistema de almacenamiento a otro. Por ejemplo, los datos deduplicados de una solución de almacenamiento primaria de Dell se pueden trasladar sin rehidratación a un sistema de almacenamiento para copias de seguridad de Dell, que luego se puede copiar en estado deduplicado en una réplica de almacenamiento de Dell a través de una LAN/WAN. Es esta exclusiva optimización de los datos integral (del servidor a la nube, pasando por los sistemas de almacenamiento) lo que aporta más valor a una organización de usuario final en un mundo repleto de datos.



A pesar de que la tecnología de deduplicación y compresión lleva varios años entre nosotros, tiene vocación de permanencia y está evolucionando con rapidez. Para ser realmente efectiva en el mundo empresarial de hoy, como en el del futuro, las organizaciones deben buscar soluciones que se adhieran a tres principios básicos: ser transparentes al usuario final y a las aplicaciones (lo que significa que no debe haber ningún retraso de rendimiento durante la recuperación de los datos); ser sensibles a industrias específicas, con más y mejores algoritmos y principios lógicos; y proyectarse sobre todo el ciclo de vida de los datos para garantizar la optimización de toda la infraestructura tecnológica.

Segundo Ramos, Enterprise Brand Marketing Manager for Spain, Italy & Switzerland Social Media and Community Professional de Dell