12М/256(предделитель)/300Гц(50*6) = 156.25 - вот вам ваш предел измерений... Нет? Ну или так 11059200/256/300 = 144
Хотя, имхо, довольно странно привязываться к внешнему сигналу.
Если вы трехфазный шим хотите, то я бы делал не так. АЦП ацпирует в цикле (не в прерывании) и говорит в регистр OCR таймеру. А по прерыванию от таймера уже вызывать вашу "некст"...