Moin,
vielleicht ist es hier günstig, sich das ganze erstmal vorzustellen. Wenn das Volumen maximal sein soll, dann müssen sich Kugeloberfläche und Zylinderoberfläche berühren, genauer sogar die Grund- bzw. Deckfläche des Zylinders. Da das ganze symmetrisch ist, kann man vom Mittelpunkt der Kugel, der gleichzeitig auch in der Mitte des Kreises der Grundfläche des Zylinders liegt, ein rechtwinkliges Dreieck mit Hypothenuse R und Katheten r und \(\frac{h}{2}\) konstruieren. Dann hast du eine Nebenbedingung und kannst, wie üblich, weiter verfahren.
LG