хоть и несколько гемморно, но зато надёжно: для исходного контура (Xi,Yi) находим цетр масс (см.в том же бронштейне, должно быть), потом в него, центр масс, переносим начало координат, точки исходного контура пересчитываем в полярные координаты относительно этого, "нового" нуля, сортируем точки по углу и тупо обходим их по кругу. тогда всё четко получается. не запутаешся...