принимаем одну фазу за sin(x), тогда разность остальных двух фаз будет равна либо +cos(x), либо -cos(x) (с множителем sqrt(3)) в зависимости от чередования фаз, т.е. задача сводится к определению знака cos относительно опорного sin.
Ее можно решить разными способами. Мне больше нравится такой: сдвигаем опорный sin на 90 град с помощью интегратора (обычное суммирование отсчетов), умножаем на cos и интегрируем на периоде (или через ЦФНЧ). Знак результата определяет чередование фаз.
PS перед обработкой не забыть избавиться от постоянной составляющей с помощью простейшего ЦФВЧ c низкой частотой среза. Неравномерность АЧХ и ФЧХ в данном случае роли не играют.