Что там у Вас на самом деле, мне не известно. Но без относительно к Вам, говорю, что демодулятор, работающий по критерию максимального правдоподобия (упрощенный критерий идеального наблюдателя) выбирает тот сигнал, который который имеет наименьшую метрику к принятому. Это не я придумал, это написано во всех учебниках.

А дальше думайте сами...