Читайте раздел System Clock and Clock Options.
У некоторых видов тактирования, который определяется фьюзами есть свой диапазон. И если частота выходит за его пределы - то как правило сам контроллер перестает работать, даже прошиваться по SPI перестанет.
У вас проблема похоже не в этом. Вы как вообще определяете, что программный счетчик начинает по всему флешу скакать?