АЛГОРИТМ ПОТОКОВОЙ КОМПРЕССИИ ДАННЫХ С ПЛАВАЮЩЕЙ ЗАПЯТОЙ В ИНФОРМАЦИОННЫХ СИСТЕМАХ ОБЕСПЕЧЕНИЯ НАУЧНЫХ ЭКСПЕРИМЕНТОВ

Аннотация

Представлен оригинальный алгоритм и метод реализации однопроходной компрессии потока числовых данных с плавающей запятой. Целью работы является разработка и фор- мализация алгоритмического метода однопроходной потоковой компрессии числовых значе- ний с плавающей запятой, обеспечивающего высокую оперативность кодирования и декоди- рования, поскольку практика применения для этого существующих реализаций показывает их недостаточную оперативность, неприемлемую ресурсоемкость, низкую применимость для потоковой обработки большого объема данных с плавающей запятой в реальном времени. Для достижения этой цели были решены следующие задачи. Описана математическая мо- дель и алгоритм компрессии потока скалярных числовых значений с плавающей запятой, а также результаты проведенного экспериментального исследования созданного метода реа- лизации компрессии структур одномерных и двумерных научных данных. Модель опирается на распространенный метод реализации расширенного множества действительных чисел, отображаемых на числа с плавающей запятой двойной точности, представление которых регламентировано форматом binary_64 стандарта IEEE-754. Алгоритм может быть ис- пользован в составе распределенных высокопроизводительных информационных систем обеспечения научных экспериментов для реализации задач, критичных к производительностиопераций ввода-вывода и инфокоммуникационного обмена данными. Производительность и применимость алгоритма в реализациях потоковой обработки данных обусловлены его одно- проходным поведением, относительно низкими требованиями к априорно известному и фик- сированному размеру истории, на основе которой построена работа предиктора алгоритма компрессии. Действительно, полученные результаты показывают сравнимую с более ресур- соемкими универсальными кодерами результативность компрессии при значительном росте оперативности. При синхронизации параметров компрессии и декомпрессии векторных дан- ных в предположении взаимной корреляции магнитуд скаляров одного измерения, возможно применение параллелизма класса ОКМД (одна команда-множество данных) для дальнейшего увеличения производительности предиктора (а следовательно, компрессии и декомпрессии), если реализующее устройство обладает возможностью обращения к изменяемой памяти, реализующей историю, на основе сдвиговых значений, формируемых параллельно или вектор- но, например, с помощью инструкций класса VGATHER микропроцессоров Intel. Реализация алгоритма внедрена авторами в параллельно-распределенную систему моделирования волно- вых полей с целью снижения издержек, обусловленных операциями ввода-вывода при взаимо- действии системы узлов через вычислительную сеть. Экспериментально показана более вы- сокая оперативность компрессии при сравнимой результативности универсальных много- проходных кодеров RAR, ZIP и 7Z.