Esto lo preguntó Joel David Hamkins hace tiempo en MathOverflow. La respuesta es que sí, $S_X \cong S_Y \implies |X| = |Y|$. Recibió varias buenas respuestas; me gustó particularmente la de Andreas Blass que probó que para $X$ infinito, $|X|$ es el tamaño mínimo de una clase de conjugación no trivial en $S_X$.También mencionaron una serie de ejercicios guiados en el libro de álgebra de Dummit and Foote que contestan la pregunta.
Para conveniencia del lector, aquí está el argumento de Andreas Blass:
Supongamos que $X$ es infinito y que $C$ es una clase de conjugación no trivial (es decir, que no consta solo de la identidad) de $S_X$. Sea $\sigma \in C$, como $C$ no es trivial, $\sigma$ no es la identidad y entonces hay algún $x \in X$ con $\sigma(x) \neq x$. Ahora, para cualquier $y \in X \setminus \{x\}$, consideremos la transposición $\tau = (\sigma(x) y)$. La permutación $\tau \circ \sigma \circ \tau^{-1}$ está en $C$ y manda $x$ a $y$. Variando $y$ obtenemos $|X|$ distintos conjugados de $\sigma$ por lo que $|C| \le |X|$.
Así que cualquier clase de conjugación no trivial tiene al menos $|X|$ elementos. Por otra parte, siempre hay clases de conjugación de esa cardinalidad. Por ejemplo, el conjunto de todas las transposiciones es una clase de conjugación y su cardinalidad es $|X|^2 = |X|$.