Для начала Вы должны выбрать свой любимый процессор. Перейти с одной архитектуры на другую уже может не получиться :) Разве что при составлении обзоров при печатании статей.
Я сам, к сожалению, оказался не востребованным молодым специалистом по dsp. Не потянул задачи. Уже как 1,5 года не занимался практикой, хотя занимался математикой, мало ли, может пригодится. Потому считаю себя устаревшим :(
Если действительно хотите, то купите кит для выбранного проца. Это можно сделать в УГТУ-УПИ через людей, которые там занимаются, к примеру, линией от TI. Я как-то хотел было, да некогда было. Телефон человека могу дать, я созванивался и договаривался.
Как будет на чём работать, достаём чем работать. Скачиваем среду разработки соот-щую, ну и можно Matlab где-нить достать - пригодится. Далее - литература и примеры. Сам я занимался ADSP, причём читал англ. доку в оригинале и изучал асм и архитекутуру. Долго :) Считаю, что настоящий спец должен начинать с асм'а по-любому. Вплоть до понимания структуры опкодов операций.
Всё ПО можно достать так или иначе. Начинать надо с простых примеров разжёвывая их для себя и модифицируя. Заниматься нужно периодически. Потом можно полазить по инету в поисках проектов, можно поискать книжки в электронном и даже печатном виде ( например, хоть и устаревшая, для ADSP - О.Д. Вальпа, Разработка устройств на основе СП от AD с использованием VDSP++, 2007).

В общем, всё как обычно для любых других занятий инжинирингом. А вот с математикой небольшая засада. Если архитектуру самому и можно освоить где-нить за пол года занятий, то математику осваивать можно до конца жизни :) Вспомнить её ещё можно, а вот понять самому без предварительного обучения - трудно. Нужны очень ясные примеры, либо учителя. Хотя книг сейчас по ЦОС предостаточно и вроде даже разжевывается там очень доходчиво. Тут сами читайте и пробуйте.