Que es la de-duplicacion de datos?

En la gerga de computadoras, la De-duplicacion de datos es una forma caracteristica de compresion donde los datos redundantes son eliminados, con la finalidad de optimizar el almacenamiento de la misma. En el proceso, la informacion que se encuentra mas de una vez es eliminada, dejando solamente una copia del mismo. Para agilizar el proceso de verificacion si los datos han sido almacenados con anterioridad, se utilizan indices que identifican a los datos(o archivos). Por ejemplo, en el caso de un sistema de correo, un mismo archivo puede encontrarse multiples veces en el sistema, suponiendo que es un archivo de un megabyte, y este se encuentra unas 100 veces en el sistema, el archivo utiliza 100MB de espacio. Con el sistema de de-duplicacion de datos, el archivo es almacenado solamente una vez, cualquier uso adicional de este mismo archivo solamente se hace referencia a la unica copia existente por medio del sistema de indices. Sistemas que por lo general se benefician de este metodo son los respaldos (backup) de informacion.

http://ostatic.com/blog/sdfs-a-robust-deduplication-file-system-for-linux