Es liegt daran das der video encoder nicht richtig arbeiten kann wenn die grafikkarte zu 100% ausgelasstet ist. Wenn du NVENC benutzt solltest du darauf aufpassen das die grafikkarte nicht über 95% der leistung geht damit es besser aussieht.
Wenn man NVENC benutzt sollte man am besten eine 2 grafikkarte haben die diesen job übernimmt dann sieht es noch etwas besser aus