Перед СД, конечно, весьма логичным видится полосовой фильтр (ПФ), но только вместе с усилителем за ним. Особенно в условии сильных внеполосных помех. Так что классический дизайн, возможно, вполне оправдан, он позволяет выжать всё возможное из аналоговых элементов тракта. Только не в схеме по той ссылке, там усилителя нет. Цифровое решение с трудом может потягаться с аналоговым. Чтобы сделать не хуже аналоговой связки ПФ + усилитель + СД + ФНЧ, нужно оцифровать сигнал с таким динамическим диапазоном, как полный динамический диапазон ОУ, который может превышать 100 dB. Как-то решая похожую задачу я цифровал уже отфильтрованный выход аналогового СД, перед которым были фильтры и усилители. Но сейчас требования более мягкие, хочу максимально всё поместить в цифру, снаружи только предусилитель (на всякий случай это PGA).
Что касается джиттера опорного сигнала, так и полезный сигнал тоже имеет джиттер, его не убрать. И спектральный состав полезного сигнала тоже не идеальный, без ПФ гнаться за синусоидальным опорным сигналом особого смысла нет. Установка датчика на основной оптической оси не решит проблему, из-за разной геометрии датчиков сигналы не будут идентичными.