В пределе большого колическтва разрядов гармоники будут уменьшатся, но в некоторый момент искажения на выходе ЦАП перестанут уменьшаться несмотря на увеличение разрядности. Этот предел и будет определяться DNL/INL.
И, кстати, Вы FFT считаете по участку, длина которого не кратна периоду синуса ;) То есть это не синус, а хрен знает что - можете продолжить его периодически :)