Si $n$ no es primo, entonces no existe un grupo que cumpla la condición que pides, pues el Teorema de Cauchy asegura la existencia de al menos un elemento de orden primo para cada divisor primo de $n$.
Si $n=p$ es un número primo, y $G$ se puede descomponer en producto semidirecto iterado de $\mathbb{Z}_p$, entonces este producto semidirecto es de hecho un producto directo pues no hay morfismos $\mathbb{Z}_p\to{\rm Aut}\mathbb{Z}_p$, ya que ${\rm Aut}\mathbb{Z}_p\cong \mathbb{Z}_{p-1}$. Por tanto, tal grupo sería abeliano y se describiría como coproducto del grupo de orden $p$.
Si quito la hipótesis de descomposición que impuse en el párrafo anterior, puedo afirmar que cualesquiera dos subgrupos de orden $p$ de $G$ se intersectan trivialmente. Sin embargo, no puedo ver en este momento que exista al menos un subgrupo normal.
Para grupos finitos, estoy seguro que esto es cierto pues los $p$-grupos finitos son solubles. Luego, soluble y simple implica abeliano de orden primo. Para infinitos no estoy seguro de que los $p$-grupos sean solubles, pues no tengo la certeza de que el grupo cumpla con las condiciones para que la sucesión de derivadas converja a cero.