Danke, da bei mir gestern das Internet ausgefallen war kann ich heute berichten, das es jetzt alles funktioniert.
Nach erfolglosen Versuch mit "mkfs.xfs /dev/..." und komischen Fehlermeldungen hab ich den Rasperry heruntergefahren, die Festplatte einfach nochmal mit exfat formatiert, erneut ohne Festplatte hochgefahren. dann die Festplatte wieder integriert und nochmal "mkfs.xfs /dev/..." per ssh. Dann Klappte es ganz ohne Fehlermeldungen(obwohl der "weg" quasi gleich war.
Nach ein paar Test war klar das es jetzt funktioniert...
Ich danke für die Hilfe, da ich ja doch starke Probleme mit den Linux befehlen habe und mich da mal doch mit beschäftigen sollte ;-)