Короче говоря, тут написано, что 2*3,5 символа добавлябтся с концов фрейма. Это только временная диаграмма, но она ничего мне не говорит про то что же такое собственно время отклика.

Я предпологаю, что это всё-таки время от момента, когда модуль определил, что обращаются к нему и воспринял команду. "Конечный автомат" программы модуля переключился при опознавании фрейма до момента передачи первого байта. Может так?
Отбивки по бокам просто учитываются как Вы сказали. Т.е. ждем не менее 3,5 символов после приёма. Получается, что это минимум теоретический :) Подумаю ещё.

RTU фрейм. 
В RTU режиме сообщение начинается с интервала тишины равного времени передачи 3.5 символов при данной скорости передачи в сети. Первым полем затем передается адрес устройства.
Вслед за последним передаваемым символом также следует интервал тишины продолжительностью не менее 3.5 символов. Новое сообщение может начинаться после этого интервала.
Фрейм сообщения передается непрерывно. Если интервал тишины продолжительностью 1.5 возник во время передачи фрейма, принимающее устройство заканчивает прием сообщения и следующий байт будет воспринят как начало следующего сообщения.
Таким образом, если новое сообщение начнется раньше 3.5 интервала, принимающее устройство воспримет его как продолжение предыдущего сообщения. В этом случае устанавливается ошибка, так как будет несовпадение контрольных сумм. Типичный фрейм сообщения показан ниже. 
 ------------T--------T--------T--------T--------T-----------¬
 ¦   старт   ¦  адрес ¦функция ¦ данные ¦   CRC  ¦   конец   ¦
 +-----------+--------+--------+--------+--------+-----------+
 ¦T1-T2-T3-T4¦  8 бит ¦  8 бит ¦n x бит ¦ 16 бит ¦T1-T2-T3-T4¦
 L-----------+--------+--------+--------+--------+------------