Действительно, для такого кварца слишком большая погрешность последоват. порта. Воспользуйтесь кварцем с 11,059 МГц или 14,7456 МГЦ если MEGA128-16. Они предназначены специально для стандартного ряда скоростей порта.
(«Телесистемы»: Конференция «Микроконтроллеры и их применение»)