No los hay, como se vé fácilmente de la lista de grupos finitos simples. :) Después hallé una prueba usando solo el teorema de Frobenius acerca de los llamados grupods de Frobenius, pero quería una prueba "más elemental", puesto que el teorema de Frobenius no es muy fácil de probar (hasta dónde sé todas las demostraciones conocidas usan teoría de caracteres). Ahora ya encontré una prueba que usa herramientas más simples, que pongo a continuación. (Después, para que quede registro, dejo la prueba usando el teorema de Frobenius.)
Prueba "elemental". Supongamos que $G$ es simple y de orden $p(p+1)$ con $p$ primo. Sea $H$ un subgrupo de $G$ de orden $p$. Por los teoremas de Sylow, los conjugados de $H$ son todos los subgrupos de $G$ de orden $p$ y el número de ellos es un divisor de $p+1$ congruente con $1$ módulo $p$. De aquí que $H$ tiene $1$ o $p+1$ conjugados. Como $G$ es simple, no puede ser que $H$ sea su único conjugado ($H$ sería normal), por lo que $H$ debe tener $p+1$ conjugados. Ahora, la intersección de cualesquiera dos subgrupos distintos de orden $p$ es automáticamente $\{1\}$, puesto que cualquier otro elemento de un subgrupo de orden $p$ lo genera, de modo que si $1 \neq x \in H' \cap H''$, tendríamos que $H' = \langle x \rangle = H''$. Entonces, podemos concluir que $G$ tiene exactamente $(p-1)(p+1) = p^2 - 1$ elementos de orden $p$.
Ahora consideremos la acción de $H$ sobre $G$ por conjugación. Como $|H|=p$, cada órbita de la acción consta de un solo elemento o de $p$ elementos. Si $\{x\}$ es una órbita de un solo punto, $x$ conmuta con todos los elementos de $H$ y por lo tanto $x$ está en el normalizador de $H$ que es $H$ mismo (ya vimos que $H$ tiene $p+1$ conjugados diferentes, así que el normalizador de $H$ tiene índice $p+1$ y contiene a $H$). Todo el resto de $G$, o sea, $G \setminus H$, debe estar dividido en órbitas de tamaño $p$. Si una órbita tiene algún elemento de orden $p$, toda la órbita consta de elementos de orden $p$. Esto implica que los $p(p+1) - 1 - (p^2-1) = p$ elementos de $G$ que ni son $1$ ni son de orden $p$, forman una sola órbita bajo esta acción. En particular, todos ellos tienen el mismo orden y esto quiere decir que no puede haber dos primos diferentes que dividan a $p+1$, de dónde obtenemos que $p+1 = q^m$ con $m$ primo. Ahora, consideremos los $q$-subgrupos de Sylow de $G$: deben tener orden $q^m=p+1$ y no pueden tener a ninguno de los elementos de orden $p$. Por lo tanto, solo cabe un $q$-subgrupo de Sylow, por lo que ese subgrupo debe ser normal, contradiciendo que $G$ es simple.
Prueba usando el teorema de Frobenius. Primero, usamos los teoremas de Sylow como en el primer párrafo de la prueba de arriba, luego seguimos así: $G$ actúa por traslación en el conjunto $G/H$ de clases laterales de $H$, lo cual nos da un homomorfismo $G \to S_{p+1}$ (puesto que $|G/H|=p+1$). Como $G$ es simple, el núcleo de este homomorfismo debe ser trivial o todo $G$, pero no puede ser todo $G$ pues $G$ actúa transitivamente. Por lo tanto, el homomorfismo es inyectivo y podemos ver a $G$ como un subgrupo transitivo de $S_{p+1}$. La estrategia para terminar la prueba va a ser probar que $G$ es lo que se llama un grupo de Frobenius, es decir, probar que los elementos no triviales de $G$ fijan a lo más un punto (y que algún elemento no trivial de $G$ de hecho fija algún punto, pero eso es claro porque los elementos de $H$ fijan a la clase lateral $H$). Si probamos esto, podemos usar el teorema de Frobenius: implica que si $K$ es el conjunto que consta de $1$ más todos los elementos de $G$ que no fijan ningún punto, entonces $K$ es de hecho un subgrupo normal. (Ver http://en.wikipedia.org/wiki/Frobenius_group .) Eso contradiría que $G$ es simple.
Veamos cuantos puntos fijos tienen los distintos elementos de $G$:
-
Está $1$ que fija los $p+1$ elementos de $G/H$.
-
Están los $p^2-1$ elementos de orden $p$. Cada uno de ellos, visto como elementos de $S_{p+1}$, debe ser un ciclo de longitud $p$, pues son los únicos elementos en $S_{p+1}$ con orden $p$. Pero entonces solo fijan un elemento: el que queda fuera del ciclo.
-
Están los $p(p+1) - 1 -(p^2-1) = p$ elementos restantes, de los que aún no decimos nada. Sean $f_1, f_2, \ldots, f_p$ las cantidades de elementos que fija cada uno de ellos.
Según el lema que no es de Burnside ( http://en.wikipedia.org/wiki/Burnside%27s_lemma ), el número de órbitas de una acción es el promedio del número de puntos fijos de los elementos del grupo. Como esta acción es transitiva, tiene una solo órbita, y el lema nos dice que $$1 = \frac{ (p+1) + 1\cdot(p^2-1) + f_1 + \cdots + f_p}{p(p+1)}.$$
De aquí que $f_1+\cdots+f_p = 0$ y por lo tanto $f_1 = \cdots = f_p = 0$. Esto concluye la prueba de que $G$ es un grupo de Frobenius y que entonces los $p$ elementos que no son de orden $p$ forman un subgrupo normal de $G$.
