Das ist wirklich komisch! Bei mir wird die Grafikkarte immer fast voll ausgelastet. Ich hätte darauf getippt, dass irgendeine andere Komponente blockiert/ zu langsam ist. Da aber die CPU auch nicht ausgelastet ist, sollte das eigentlich nicht das Problem sein. Du könntest mal gucken ob die Festplatte ausgelastet ist. Evtl. versuchen die Spiele was nachzuladen und das macht Probleme.
Ich glaube die Anzeige für die GPU im Taskmanager ist nur für die Rechenauslastung. Du solltest auch mal gucken, ob der Videospeicher der Karte voll ausgelastet wird. Wenn der nicht reicht, geht das stark auf die FPS.
Ich würde auch mal gucken ob alle Treiber aktuell sind und auch keine anderen Porgrammen sich in die Spiel einklinken (z.B. Aufnahmeprogramme, Overlays,...). Es gibt auch noch im Windows-Game-Modus einige Einstellungen.
Ich hatte mal das Problem, dass bei mir in Windows Game DVR aktiviert war und dadurch spiele kaum FPS hatten.