Ich kann mir eigentlich nur vorstellen, dass es etwas mit dem Zeichensatz bzw. der Schriftart zu tun hat. Es gibt ja Schriftarten, die bestimmte Zeichen nicht darstellen können (z.B. eine Absatzmarke) und dann an deren Stelle so etwas wie dieses kuriose Zeichen ausgeben. Hast du schon versucht, für das Arbeitsblatt eine andere Schriftart einzustellen? (Zum Markieren auf die graue Fläche links vom Spaltenkopf der Spalte A und über der 1 von Zeile 1 klicken).
In Word kann man mehr mit Spracheinstellungen und der Ersetzen-Funktion herumprobieren. Wenn du das Zeichen in die Zwischenablage kopierst und dann in ein Word-Dokument einfügst, wie erscheint es dort? Du könntest auch versuchen, einen Teil aus der ursprünglichen CSV-Datei in Word einzufügen.