На практике восстанавливают тактовую, убирают сдвиг несущей, демодулируют, чтобы узнать что передавалось и считают отношение мощностей того что должно быть и сигнала ошибки.

Формулы есть в стандартах 802.16 802.11 UMTS да и по-моему CDMA-2000.
У каждого стандарта есть специфика при рассчете EVM, например в OFDM-системах как правило EVM считают для поднесущих с пилотами и поднесущих с данными.

Кое-какие практические подробности можно почерпнуть в описаниях всяческих тестеров и векторных анализаторов, которые как правило делают эту работу за Вас.