Hallo,

du hast einen Fehler gemacht
$$ |a^2 + b^2 |^2 \neq (\sqrt{ (a^2)^2 + (b^2)^2})^2 $$
denn du betrachtest hier eine rein reelle Zahl. 

Du machst es dir aber auch zu kompliziert. Du suchst ja $|z|$ und du hast in deiner Gleichung auch schon $|z|$ stehen. Forme doch einfach danach um. Du hast schon den richtigen Ansatz
$$ \left| \frac {-3 -5j} {z} \right|^2 = 18 $$
Nutze nun Rechenregeln für den Betrag und berechne mal den Betrag vom Zähler... Kommst du auf die Lösung? 

Grüße Christian