При кварце F=16 МГЦ тактируй таймер частотой F/8, ставь TOP=40000, получишь 50-ГЦ ШИМ на 40000 точек/20 мс, или 2000 точек на миллисекунду. Затем масштабируй свой параметр 0..255 в 2000..4000 (то есть Y=2000+X*7.8431=2000+((X*64251) >> 13)), получишь ШИМ 5..10% с разрешением почти в 8 раз выше требуемого - где проблемы-то?