No se la teoría que estas utilizando para hacer esto. Si pudieras facilitarme el libro me serviría mucho.
Mediante derivadas he encontrado que el máximo es 5, vamos a demostrarlo. Derivamos para calcular los extremos
f '(x) = 6cos(2x) - 8sen(2x) = 0
6cos(2x) = 8sen(2x)
sen(2x)/cos(2x) = 6/8 = 3/4
tg(2x) = 3/4
luego hay una fórmulas que dicen
$$\begin{align}&cosa=\frac{1}{\sqrt{1+tg^2a}}\\ &\\ &\cos(2x) = \frac{1}{\sqrt{1+\frac{9}{16}}}=\frac{1}{\sqrt{\frac {25}{16}}}=\frac 45\\ &\\ &sen(2x) = \sqrt{1-\frac{16}{25}}=\sqrt{\frac{9}{25}}=\frac 35\end{align}$$
Con esto el valor máximo de f(x) es
f(x) = 3·(3/5) + 4(4/5) = 9/5 + 16/5 = 25/5 = 5
Luego la amplitud de f(x)=5
entonces el valor de A es 5
Ahora calculamos el valor de la función en 0
f(0) = 3·0 + 4·1 = 4
Y con la función de la otra forma tendrá que valer 4 también
f(0) = 5sen(0+C) = 4
5senC = 4
senC = 4/5
C = arcsen(4/5)
Ya solo queda calcular B, tomamos el valor de la función en Pi/4
f(pi/4) = 3sen(pi/2) + 4cos(pi/2) = 3·1 + 4·0 = 3
f(pi) = 5sen(B·Pi/4 + C) = 3
sen(B·Pi/4 + C) = 3/5
sen(B·Pi/4)cosC + cos(B·Pi/4)senC = 3/5
recordar que senC=4/5 y por tanto cosC = 3/5
sen(B·Pi/4)·(3/5) + cos(B·Pi/4)·(4/5) = 3/5
Lo ponemos como ecuación en z =BPi/4
3senz + 4cosz = 3
Una solución a primera vista es z = pi/2 luego
z = pi/2 = Bpi/4
2pi = Bpi
B = 2
Luego la función en esa forma es
f(x) = 5sen(2x + arcsen(4/5))
Y si quieres saberlo aproximadamente es
f(x) = 5sen(2x + 0.927295218)
He hecho ambas gráficas y coinciden.
Naturalmente que si la pregunta te viene de lo que estás estudiando seguramente tendrás otro método para hacerlo pero yo lo desconozco y esta es la forma en la que he podido resolverlo. Como ya te dije, si puedes hacerme llegar la teoría lo resolvería de la forma que te digan.
Y eso es todo, si no has entendido algo pregúntamelo. Y si ya está bien, no olvides puntuar para poder hacer más preguntas.