Wenn ich das richtig im Kopf habe, ist das Bild beim encoden über die Grafikkarte (Nvenc) immer ein bisschen schwammiger als wenn die CPU das übernimmt. Könnte also ein Aspekt sein.
Dann kommt noch dazu, dass Twitch zwar als maximale Bitrate 6000 empfiehlt, aber bis zu 8000 möglich sind. Hier wäre mal zu prüfen, ob "die anderen" auch die 6000er Bitrate nutzen oder vllt sogar mehr.
Fakt ist aber letztlich: Für ein wirklich scharfes Bild bei 1080p60 und einem schnellen Spiel ist eine Bitrate von 6000, sogar 8000 eigentlich noch zu wenig. Wenn viel passiert in einem Spiel, müssen mehr Bildinformationen übertragen werden. YouTube empfiehlt bspw. für Videos 1080p60 eine Bitrate von ca. 12.000. Und selbst dann kann es noch verwaschen / leicht pixelig aussehen.
An deiner Stelle würde ich erstmal das encoden über die CPU testen (x264). Mit deinem 5950X sollte das problemlos funktionieren.
Und wenn das auch nichts ändert, vielleicht mit der Auflösung mal auf 900p60 runtergehen. 1080p müssen es in meinen Augen eigentlich nicht unbedingt sein. Viele schauen am Smartphone/Tablet. Oder auf einem alten Office-Laptop. Gamer haben zwar immer mehr 1440p (oder höher) Monitore, zocken aber meist selbst was nebenher und haben es dann auf dem kleineren, zweiten Bildschirm. Der hat zwar dann auch 1080p, aber der Stream läuft da auch nicht in Fullscreen, weil man sonst den Chat nicht mehr lesen kann.