пусть уж лучше считает препроцессор и подставит нужное значение, чем будет сгенерирован код
аля
#define MUX ( (CPU_OSC * T_TIMER_PERIOD_MKS) / 1000000 )
#if ( ( ( MUX / 8) - 1) > 255 )
#if ( ( ( MUX / 64) - 1) > 255 )
#if ( ( ( MUX / 256) - 1) > 255 )
#error error calculate prescaller
#else
#define N 256
#endif
#else
#define N 64
#endif
#else
#define N 8
#endif