1) По поводу комплексности после БПФ. Здесь ответ только один - не симметричное это окно, и все тут. "Не симметричное" - имеется в виду не циркулярно симметричное (ну, проверьте, равно ли w[2]=w[N-1]?, w[3]=w[N-2], ... здесь N - число элементов массива w).
2) По поводу фазы скажу, что, к сожалению, Вы не привели фрагмент кода, при помощи которого Вы фазу вычисляли (какую функцию Вы использовали phase или angle?). Если первую, то все тривиально - ее значения от -pi до pi (или от 0 до 2pi - точно не помню), если вторую, то и там возможны скачки. Объясняются они тем, что у функции angle есть такой параметр, как терпимость к скачку (почитайте документацию по ней - там об этом написано подробно). К Вашему несчастью, длина преобразования у Вас очень маленькая - 15 или 16 отсчетов (я не помню, какой из параметров, первый или второй, отвечают за число элементов в функции kaiser). Из-за малой длины преобразования весь диапазон частот от 0 до pi распределен между 15-ю отсчетами. Естественно, что от при таком положении дел возможен скачок в фазе от одного отсчета к другому больше, чем на pi (т.е. больше, чем значение терпимости/толерантности в функции angle, выставленное матлабом по умолчанию). Выхода два: либо установите другой интервал терпимости, либо увеличьте число отсчетов.