Ich würde empfehlen, systemweite Python-Module immer per Paketmanager (pacman, ggf. yay) zu installieren.
Für einzelne, in sich geschlossene Projekte empfiehlt sich tatsächlich eine virtuelle Umgebung. In einer solchen virtuellen Umgebung kannst du dann nach herzenslust mit pip installieren, ohne das es dir irgendwann dein System zerschießt.
Wie so etwas funktioniert, wird hier kurz angedeutet.