Хотелось бы прояснить момент. Как правильно открыть скобки (5x + x^2)^2

Применим формулу сокращенного умножения квадрат суммы и правило возведения степени в степень. Вспомним формулу:

(a + b)^2 = a^2 + 2ab + b^2.

(5x + x^2)^2 = (5x)^2 + 2 * 5x * x^2 + (x^2)^2 = 25x^2 + 10x^3 + x^4.