погорят защитные диоды, но только если вся (отключенная от питания) часть схемы жрет много. Если мало жрет - то натечет немного в питание, и все... Ну, и если сигнал подается не напрямую, а через резистор (от делителя, например), то диоды тоже останутся целыми.