В ядре Windows такого понятия как критическая секция нет. А объект CRITICAL_SECTION описан в winnt.h (RTL_CRITICAL_SECTION). Он содержит хендл на семафор, ожидание на котором выполняется только если user-mode spin-lock обламывается.
Всё это описано в классике "Windows 2000 (2003) inside"