b)
Sabemos que $\eta$={$\alpha_{0}$,$\alpha_{1}$,$\alpha_{2}$,$\alpha_{3}$,$\alpha_{4}$} es una base ortogonal de $\mathbb{C}^{5}$
Sea $\sigma=\left ( a_{1},a_{2},a_{3},a_{4},a_{5} \right )\in \mathbb{C}^{5}$ con $a_{1},a_{2},a_{3},a_{4},a_{5}\in\mathbb{R}$ tales que cumplan las hipótesis.
Nótese que:
$a_{1}a_{2}+a_{2}a_{3}+a_{3}a_{4}+a_{4}a_{5}+a_{5}a_{1}$=$\langle\,\sigma,\phi(\sigma)\rangle$, por otra parte:
$\sigma =\sum_{j=0}^{4}\frac{\left \langle \sigma,\alpha _{j} \right \rangle}{\left \| \alpha _{j} \right \|^{2}}\alpha_{j}$ y $\phi(\sigma)=\phi(\sum_{i=0}^{4}\frac{\left \langle \sigma,\alpha _{i} \right \rangle}{\left \| \alpha _{i} \right \|^{2}}\alpha_{i})=\sum_{i=0}^{4}\frac{\left \langle \sigma ,\alpha _{i} \right \rangle}{\left \| \alpha _{i} \right \|^{2}}\phi \left ( \alpha _{i} \right)$, por ser $\phi$ una transformación lineal.
Pero $\alpha _{i}$ es un eigenvector de $\phi$ entonces: $\phi(\sigma)=\sum_{i=0}^{4}\frac{\left \langle \sigma ,\alpha _{i} \right \rangle}{\left \| \alpha _{i} \right \|^{2}}\lambda_i \alpha _{i}$
Luego:
$\langle\,\sigma,\phi(\sigma)\rangle=\langle\,\sum_{j=0}^{4}\frac{\left \langle \sigma,\alpha _{j} \right \rangle}{\left \| \alpha _{j} \right \|^{2}}\alpha_{j},\sum_{i=0}^{4}\frac{\left \langle \sigma ,\alpha _{i} \right \rangle}{\left \| \alpha _{i} \right \|^{2}}\lambda_i \alpha _{i}\rangle=\sum_{j=0}^{4}\sum_{i=0}^{4}\frac{\left \langle \sigma ,\alpha _{i} \right \rangle}{\left \| \alpha _{i} \right \|^{2}} \overline{\frac{\left \langle \sigma ,\alpha _{j} \right \rangle}{\left \| \alpha _{j} \right \|^{2}}}\overline{\lambda _{i}}\left \langle \alpha _{j},\alpha _{i} \right \rangle$
Pero $\left \langle \alpha _{j},\alpha _{i} \right \rangle=\left \| \alpha_{j} \right \|^2\delta _{ji}$ por ser $\eta$ una base ortogonal.
Entonces:
$\langle\,\sigma,\phi(\sigma)\rangle=\sum_{j=0}^{4} \frac{\left | \left \langle \sigma ,\alpha _{i} \right \rangle \right |^{2}}{\left \| \alpha _{j} \right \|^{2}}\overline{\lambda _{j}}=Re(\sum_{j=0}^{4} \frac{\left | \left \langle \sigma ,\alpha _{i} \right \rangle \right |^{2}}{\left \| \alpha _{j} \right \|^{2}}\overline{\lambda _{j}})$, ya que $\langle\,\sigma,\phi(\sigma)\rangle\in \mathbb{R}$
Para el caso $j=0$, $\left \langle \sigma ,\alpha _{0} \right \rangle=\sum_{i=1}^{4}a_{i}=0$, por hipótesis
$Re(\sum_{j=1}^{4} \frac{\left | \left \langle \sigma ,\alpha _{i} \right \rangle \right |^{2}}{\left \| \alpha _{j} \right \|^{2}}\overline{\lambda _{j}})\leqslant \max\limits_{ j=1,2,3,4}Re(\overline{\lambda _{j}})\sum_{j=1}^{4} \frac{\left | \left \langle \sigma ,\alpha _{i} \right \rangle \right |^{2}}{\left \| \alpha _{j} \right \|^{2}}\leqslant\max\limits_{ j=1,2,3,4}Re(\lambda _{j})\left \| \sigma \right \|^{2}$
En la última desigualdad se ocupo la desigualdad de Bessel, por hipótesis sabemos que $\left \| \sigma \right \|^{2}=1$, por lo tanto: $\langle\,\sigma,\phi(\sigma)\rangle\leqslant\max\limits_{ j=1,2,3,4}Re(\lambda _{j})$
Computando $cos(\frac{6\pi }{5})=cos(\frac{4\pi }{5})\leq cos(\frac{2\pi }{5})=cos(\frac{8\pi }{5})$, por lo tanto $\max\limits_{ j=1,2,3,4}Re(\lambda _{j})=cos(\frac{2\pi }{5})$
Es decir
$\langle\,\sigma,\phi(\sigma)\rangle\leqslant cos(\frac{2\pi }{5})$
Tome el vector $\sigma =\frac{\alpha _{1}+\alpha _{4}}{\left \| \alpha _{1}+\alpha _{4} \right \|}$, por las propiedades de las raíces de la unidad se sabe que $\sum_{i=0}^{4}\frac{(\lambda _{1}^{i}+\lambda _{4}^{i})}{\left \| \alpha _{1}+\alpha _{4} \right \|}=0$, además por como se dio $\sigma$ se tiene $\left \| \sigma \right \|^{2}=1$
Además $\langle\,\sigma,\phi(\sigma)\rangle=cos(\frac{2\pi }{5})$
Por lo tanto el valor máximo de $a_{1}a_{2}+a_{2}a_{3}+a_{3}a_{4}+a_{4}a_{5}+a_{5}a_{1}$ es $cos(\frac{2\pi }{5})$