Как в анекдоте: "дарагой, как тебе по кайфу - так и езжай!"

Цель - нужно вычислить целочисленную функцию от комплексного отсчета. Как её вычислять - это уже детали реализации. "Оптимальное решение" для конкретной констелляции зависит от числа точек, их нумерации, наличия свободной памяти для таблиц и скорости случайного чтения процессором из таблицы в памяти. QAM4 скорее всего будете демодулировать вообще без таблиц, а большие констелляции - скорее всего с использованием промежуточных таблиц, потому что хоть они и строятся обычно регулярным образом - но вычисляется эта нумерация побитово и значит долго. То есть все равно нужно сначала вычислить целочисленные координаты точки на решетке арифметически, а потом можно вычислить её метку по таблице.