Wenn ich das richtig verstehe, liegt dein Problem hier in der Bestimmung von Hüllflächen und Randkurven; ich werde einfach mal im Folgenden beschreiben, wie ich an die von dir angegebene Aufgabe herangehen würde.

Fangen wir mit der Gauß-Aufgabe an: Wenn du einen Ausdruck wie \(x^2 + y^2\) siehst, solltest du sofort an eine Zylinderkoordinatentransformation denken, denn \(x^2 + y^2 = r^2\). Also formulieren wir einfach mal die Bedingungen mit Zylinderkoordinaten um, und schauen ob sich das vereinfacht.

DIe erste Bedingung lautet \(x = r \cos\phi > 0\), was \(\phi \in (-\frac{\pi}{2}, \frac{\pi}{2})\) (offenes Intervall - übrigens ein Fehler in der Musterlösung, denn \(x\) bzw, \(\cos\phi\) muss echt größer als \(0\) sein, zur späteren Berechnung des Integrals ist das aber natürlich irrelevant).
Die zweite Bedingung \(0 < z <2\) lässt sich so einfach in Zylinderkoordinaten übertragen.
Die dritte Bedingung ergibt sich bei Einsetzen vom Zylinderkoordinaten zu \(4r^2 < (z-4)^2\). Formen wir das ganze nach \(r\), erhalten wir die Ungleichung(en) \(|r| < \frac{|z-4|}{2}\). Mit dem Wissen \(z\in(0,2)\) und \(r>0\) lassen sich auch die Beträge auflösen, sodass man letztendlich die Bedingung \(1 < r < 2\) erhält.

Mit diesen neuen Integralgrenzen kann man - zumindest geht es mir so - die Menge der Punkte, bzw. den definierten Körper schon etwas besser vorstellen. Das Integral \(\iint_{\partial \Omega} F^T\mathrm{d}n\) könnte man nun über den Satz von Gauß bereits als \[\iiint_\Omega \operatorname{div} F \; \mathrm{d}(x,y,z) = \iiint_{T^{-1}(\Omega)} F(T(r,\phi,z) |\det J_T (r,\phi,z)| \; \mathrm{d}(r,\phi,z)\] berechnen, wobei \(T(r,\phi,z) = (r\cos \phi, r \sin\phi, z)\) die Transformation in Zylinderkoordinaten und \(|\det J_T (r,\phi,z)|\) die Funktionaldeterminante darstellt.

Will man das Ganze aber stattdessen als Flussintegral über die Hüllflächen berechnen, sollte man sich erst einmal überlegen, welche Flächen, die man einzeln beschreiben muss, es überhaupt gibt. Entweder kann man das mit einem guten räumlichen Vorstellungsvermögen im Kopf, oder man zeichnet sich eine Skizze.
In unserem Fall bedarf es an 4 Flächen - es handelt sich ja um eine Art Kegel in \(z\)-Richtung, mit Höhenbegrenzung \(0<z<2\), wobei nur die Hälfte des Kegels mit \(x>0\) betrachtet wird. Es gilt also die obere, untere und Mantelfläche des Kegels, sowie die Schnittfläche mit der \(y\)-\(z\)-Ebene (\(x > 0\)) zu betrachten.

Letztere lässt sich am besten noch in kartesischen Koordinaten betrachten (da \(x=0\)). Für \(z\) gilt weiterhin \(z \in (0,2)\), es fehlt also lediglich eine Bedingung für \(y\). Die Ungleichung \(4(x^2+y^2) < (z-4)^2\) vereinfacht sich zu \(4y^2 < (z-4)^2\) bzw. \(|y| < 2-\frac{z}{2}\). Diese Fläche lässt sich also als \(\Sigma_1 = \left\{ (0,y,z) \;|\; z \in (0,2) \;\land\; |y| <  2-\frac{z}{2}\right\}\) beschreiben.

Für die Mantelfläche sollt man nun allerdings eine Beschreibung in Zylinderkoordinaten wählen. Hier haben wir bereits \(\phi \in (-\frac{\pi}{2}, \frac{\pi}{2})\) und \(1 < r <2\) erarbeitet. Um ein \(z\) in Abhängigkeit von \(r\) zu erhalten, kann man die Ungleichung \(4r^2 < (z-4)^2\) nutzen: Da wir den \(z\)-Wert auf der Mantelfläche wollen und die Ungleichung die Punkte innerhalb der Mantelfäche beschreibt, kann hier einfach ein GLeichheitszeichen eingesetzt, und nach \(z\) aufgelöst werden: \(4r^2 = (z-4)^2 \;\Leftrightarrow\; 2r = |z-4| = 4-z \;\Leftrightarrow \; z = 4-2r\).
Man erhält also \(\Sigma_2 = \left\{(r\cos\phi, r\sin\phi, 4-2r) \;|\; \phi \in (-\frac{\pi}{2}, \frac{\pi}{2} \;\land\; r\in(1,2)\right\}\) als Beschreibung der Fläche.

Damit das Ganze nicht zu sehr ausartet belasse ich es mal hierbei, das Prinzip/Vorgehen sollte ja klar geworden sein.