Вы не указали сколько бит на цвет будете использовать.
Предположу что 16 бит на одну точку.

800*600*25 = 12млн пикселей в секунду.
То есть 90 наносекунд на пиксель.

На сколько я понял изображение на VGA и TV не синхронизировано, то вам нужно 4 раза обратиться по 4 произвольным адресам.
Итого 22,5 наносекунды время доступа.

SDRAM и DDR имеют много лишних циклов при обращении по одному слову.

Если взять 7 наносекундную память с CL=2, то впритык можно попытатся вложится.

Но по моему не получится.

Время вывода одного кадра не равно строго времени отведенному ему на вывод. Так как часть времени теряется на кадровые и строчные синхроимпульсы(точнее при их выводе информация не выводится)

Есть еще накладные расходы по открытию, закрытию банков памяти.

VGA монитор может потребовать кадровой частоты повыше, например 31,25Кгц минимум.

Также может получится, что тактовую частоту PLL трудно будет получить удобной по времеННые характеристики предустановки и удержания сигналов и время доступа 7нс не получится.

ИМХО статическая асинхронная быстрая память типа IDT71V416 должна подойти.