|
|
Коллега, я не умничаю, а просто высказываю своё мнение на свободном форуме. Возможно я ошибаюсь, просто помогите разобраться в этом случае.
Если за терминологией постараться увидеть физический смысл, то преобразование Карунена-Лоэва, это есть по сути подбор такого линейного базиса для многомерного сигнала, в котором представление этого сигнала даёт минимальный, как здесь выразились "energy compaction", ещё этот параметр я бы назвал энторпией базисных векторов. Идея в том, чтобы кодируя каждую компонента вектора отдельно как одномерную случайную величину с некоторой дисперсией (и матожиданием равным нулю) получить минимальную сумму длин кода каждой отдельно взятой компоненты вектора. Для этого необходимо чтобы энергия как можно более неравномерно распределялась между компонентами вектора. Известно также, что между дисперсией величины и энропией её распределения существует связь, а именно: если задана дисперсия параметра, то энропия этого параметра будет не больше чем энтропия параметра с гауссовским распределением и данной дисперсией. Поэтому, если построить код оптимальный код (Хаффмена) для гауссовского сигнала с данной дисперсией то применяя его к нашему сигналу длина кода получится не хуже гауссовского. То есть о длине оптимально кода можно в этом случае судить через дисперсию.
Если источник сигнала предсавлет собой источник сильно коррелированного сигнала, то базис Карунена-Лоэва сильно совпадает с косинусным преобразованием. Таким образом все чудеса сжатия линейными преобразованиями начиная c JPEG основаны на подмене понятия статистической независимости понятием линейной некорррелированности. Преодолеть предел такого сжатия можно если перейти от некоррелированности к статистической независимости.
Если сигнал разложить на действительно статистически независимые параметры, то кодируя каждый параметр отдельно оптимальным кодом длина которого приближается к энтропии этого параметра, мы в результате получим оптимальный код для нашего сигнала, так как для независимых параметров энтропия совокупного сигнала равна сумме энтропий для каждого параметра.
Что касается сжатия с потерями и без потерь, то здесь принципиальной разницы нет. При кодировании каждого независимого параметра задаётся некоторая ошибка квантования. Этот сигнал - (ошибка квантования) тоже можно кодировать оптимальным кодом. Поскольку про ошибку квантования известна дисперсия, то можно использовать оптимальный год для гауссовского рапределения с данной дисперсией. В результате можно к некоторому коду с потерями можно получить некий дополнительный код который превратит сжатие с потерями в сжатие без потерь. Это даёт возможность сравнивать два алгоритма сжатия разного рода.
И немного про FFT и DCT. Пусть к примеру источником является сигнал в заданном временном окне T с произвольной постоянной частотой кратной 1/T и произвольной фазой. Если фаза вдруг случайно совпадёт с косинусной составляющей, то одна из компонент DCT поглотит весь сигнал. А если не совпадёт то остаток будет распределён на все компоненты. В случае с FFT для любой фазы найдутся две компоненты FFT, которые полностью поглотят весь сигнал, поэтому "energy compaction" FFT для такого источника будет лучше чем у DCT.
И последнее.Я думаю, что разработчики MP3, Vorbis, JPEG не дураки. Просто всему своё время. Когда перейдут от линейной модели к статистически независимой, когда научаться разлагать на независимые параметры, когда научаться составлять гигантские кодовые книги, когда научаться быстро находить ближайший образец из кодовой книги, как из базы данных индекированной по одному параметру, тогда наверное появится следующее поколение алгоритмов оптимального сжатия/распознования. А может они уже есть, кто знает?
E-mail: 
info@telesys.ru
