Исследователи проводят опрос о системах дедупликации

Исследование, опубликованное в Международном журнале Grid and Utility Computing, рассматривает проблему дублирования данных в компьютерных системах хранения. Решение этой проблемы может повысить эффективность хранения данных, системную производительность и снизить потребность в ресурсах.

Авторы статьи, Амдевар Годавари и Чапрам Судхакар из Национального технологического института Варангала в Индии, объясняют, как рост Интернета вещей (IoT) и объема данных в различных областях привели к увеличению спроса на компьютерные хранилища.

Прогнозы показывают, что к 2025 году объем хранимых данных может достигнуть 175 зеттабайт, при этом около 75% данных могут быть дубликатами. Это приводит к неэффективному использованию хранилищ и снижению производительности систем.

Исследователи предлагают два подхода к решению этой проблемы. Первый — сжатие данных, включающее выявление и удаление дубликатов. Второй — использование алгоритмов и машинного обучения для идентификации избыточных данных и их удаления. Их тесты показывают, что фрагментация переменного размера может быть эффективнее фрагментации фиксированного размера, но требует больше времени. Однако использование машинного обучения может повысить эффективность этого подхода.