Да DSP это же только средство. Нужен набор : цепи и сигналы, стат. радиотехника, т. перед. информации, радиосистемы (под сим названием часто скрывется радиолокация). Ну и над всем математика - матанализ, лин. алгебра, теор. вер., комплексные переменные.
По стат. радиотехнике: Б.Р. Левин, Теор. основы стат. радиотехники. 3 тома. По локации известные авторы - Ширман, Манжос. По т. информации Финк Л.М. У буржуев есть отличные книжки по этим темам. Авторы Мидлтон, Ван Трис. А по ЦОС - Рабинер, Гоулд.