Ich konnte keine brauchbare Quelle für irgendwelche nennenswerten Performance-Nachteile entdecken, wenn man Hyper-V nur aktiviert ohne eine VM nebenbei hochzufahren. Es gibt eine Handvoll Berichte, dass das katastrophale Effekte gehabt haben soll, aber das lag dann an etwas anderem. Andere berichten von kaum messbaren Werten. Zahlen habe ich keine gefunden.
Wer jedes noch so kleine Prozent haben möchte, muss halt einmal neu starten wenn man zwischen Gaming und WSL2 development hin- und her springt. Das dauert auch nicht mal eine Minute.