тогда, допустим если БПФ у Вас первый на 256 точек, то максимум надо искать между двух каких-то точек, где он по оценке должен быть. По частоте этот интервал будет Fs/256. Я бы поделил этот интервал частей на 20-30, сделал там соотв. 20-30 ДПФов, а дальше интерполировался МНК синком, или какой-нить там полиномой, чтобы по нулю производной найти максимум, координата X которого будет искомой частотой.