Al contrario mi estimado.
La geometría desde los griegos estudia objetos que se construyen con regla y compás, y comenzó intentando "medir la tierra" pero actualmente la geometría va más allá. La geometría se encarga entre otras cosas de caracterizar espacios con cierta curvatura, como un globo o una silla de montar caballo por ejemplo.
La física toma estas ideas en muchas teorías modernas como la relatividad, las teorías de norma (Gauge Theory) o la teoría cuántica de campos (QFT). Desde un punto de vista matemático existen diferentes Geometrías, por ejemplo las Geometrías no Euclideas: Esférica, Hiperbolica y Proyectiva.
Una muy particular que ocupan los físicos se llama geometría simplectica. Pero no me voy a meter en ello (aún).
Hay otras Geometrías que hasta el día de hoy no tienen aplicaciones en física por ejemplo espacios Proyectivos octonionicos.
La geometría se puede definir como el estudio de los invariantes bajo un grupo de transformaciones, entonces la geometría hiperbolica por ejemplo es aquella que queda igual (invariante) cuando aplicas la métrica Hiperbolica.
Conclusión: La física se guía mucho por la geometría, si te interesa más te recomiendo buscar información sobre 3-variedades y física. En el libro ¿En qué espacio vivimos? De Javier Bracho (el Roli) dice y cito: "un geómetra es quizás alguien con mente de matemático y corazón o sensibilidad de físico".
¡Saludos!