Mit den richtigen Einstellungen sollte x264 Medium in 1080p60 und gleichzeitiges Spielen auch mit dem 3700X noch möglich sein. Wobei 1080p60, bei einer 6000er Bitrate, bei den meisten Spiele eh nicht zu empfehlen wäre, sondern eher 900p60.
Nur zur Info: Hättest du eine NVIDIA Karte (ab 1650 Super) könntest du mit Turing-NVENC über die GPU in vergleichbarer Qualität streamen, ohne dabei großartig FPS zu verlieren bzw. die Karte auszulasten.
In beiden Fällen hättest du dann ggf. nur noch mit dem Windows-Hz-Bug zu kämpfen, der die Bildwiederholrate, bei der Verwendung von mehreren Monitoren mit unterschiedlichen Hz-Werten, auf den niedrigeren runterregelt, wenn auf dem zweiten Monitor z. B. die OBS Vorschau oder eine Video läuft. Das Problem tritt wohl nicht zwangsläufig bei jedem auf und wird wahrscheinlich mit einem der nächsten Windows Updates behoben.
Zum Streaming PC:
Als CPU würde sich der 2700X anbieten, der noch etwas mehr Encoding-Leistung hätte, als ein 3600(X).
Bei der GPU würde ich für ein paar Euro mehr in eine 1650 Super investieren. Die hat dann auch Turing-NVENC als zweite Encoder-Möglichkeit, was bei ähnlicher Qualität sogar viel effizienter wäre.
Theoretisch könnte man als CPU auch einen 1200 oder 1600 (12mn) nehmen, und nur auf Turing-NVENC setzen.
Dein Mainboard könnte tatsächlich zum Problem werden. Ich wüsste gerade keine PCI 1x Capture-Card, die mehr als 1080p60 Passthrough unterstützt. Außerdem kann es sein, dass die GPU den PCI 1x Slot eh blockiert.
Mit dem Board bleiben dir dann wohl nur diverse USB Capture-Cards.
Ich weiß nicht, wie gut AeroCool Netzteile mittlerweile sind, ggf. würde ich es noch gegen ein 400W System Power oder Pure Power tauschen.
An deiner Stelle würde ich aber trotzdem nochmal überlegen, ob du wirklich einen zweiten PC brauchst. Wenn dich der Windows-Hz-Bug nicht betrifft bzw. stört und du auf die letzten FPS und etwas mehr Flexibilität verzichten kannst, wäre es am Ende für dich vielleicht sogar besser und günstiger, deine 5700XT zu verkaufen und auf eine 2070 Super mit Turing-NVENC umzurüsten oder noch bis zur 3000er Serie von NVIDIA, die vielleicht auch einen noch besseren Encoder bringt, über deine CPU zu streamen.