Насколько я понимаю, SPI во время приёма байта обязан что то передавать. В таком случае, "лишние" слейвы будут мешать мастеру слушать ответ "нужного" слейва. Вот тут то и возникает мысль отключить выходы "ненужных" слейвов, что бы они не мешали разговору.