Здравствуйте
Удалите стороннее антивирусное ПО (Kaspersky, Avast, Iobit, Eset, Malvarebytes, 360 security и т.п.), сторонние файрволы, Adguard, Wallpaper engine, Lightshot, MSI Afterburner, MSI Mystic light и аналогичные, для управления подсветкой и блокировки рекламы. Добавьте папки с GTAV и RAGEMP в исключения защитника Windows. Отключите защиту в реальном времени. Отключите, либо удалите ПО от Razer если установлено. Также Process Lasso и Park Control, Memreduct, Advanced system care и подобные. Также отключите Xbox game bar и его оверлей, повтор xbox, оверлей дискорд, удалите betterdiscord, отключите оверлей стим и прочие оверлеи, кроме geforce experience/AMD Relive
Переустановите драйверы видеокарты начисто, удалив их через утилиту DDU в безопасном режиме -
Display Driver Uninstaller Download version 18.0.4.8 (guru3d.com)
Далее установите с сайта Nvidia, либо AMD, Driver booster и подобное ПО использовать нельзя.
Как сама система, так и драйверы видеокарты, должны быть обновлены до последней версии.
Задайте адекватные папки для записи и временных файлов, не на заполненном диске, например D:\REC
GTA V, разумеется, должна быть чистой, без модификаций, включая Redux, Reshade, SweetFX, "замененки", "оптимизации" не иметь файла commandline в папке с игрой и RAGEMP
В сюжетном режиме, выберите стандартное разрешение монитора, режим в окне без рамки, формат автоматический.
В настройках оверлея Geforce experience, включите в настройках конфиденциальности запись рабочего стола.
Каких-либо дополнительных решений предложить не сможем.
Если результата нет, пользуйтесь альтернативным приложением для записи, например OBS