Gracias por participar, Rodrigo.
Pues, que me disculpe la escuela matemática y el rigor científico: con todo respeto de la comunidad, este asunto es sencillo, y no le encuentro ningún error de concepción ni de expresión en el planteamiento:
1.- No se ve ningún inconveniente en tomar, primeramente, los 3 puntos no colineales A, B, C; obsérvese, claro, que siempre hay 2 ángulos ABC: uno, convexo (medida < π) y el otro, cóncavo (medida > π). Dependiendo de la ubicación que corresponda, luego, a 'D', se observa si se forma o no un cuadrilátero cóncavo.
→ Si los 4 puntos (distintos) A, B, C, D, fueran elegidos "simultáneamente al azar" (fuera de la posibilidad de que A, B, C resulten 'coincidentemente' colineales, lo cual no variaría el valor de la probabilidad solicitada), la situación es idéntica a la planteada en el enunciado original de la pregunta, pues la ubicación de los puntos no presenta restricciones; si en algún "intento" resulta(n) algún(os) punto(s) superpuestos, se repite hasta llegar a puntos de diferente ubicación.
2.- La elección "al azar" del punto 'D' me parece muy sencilla de concebir; en lo que se refiera a llevarla a cabo (en la práctica), podría adoptarse alguna idea 'lo más general posible'..por ejemplo, ángulos y distancias aleatorias [usando distribuciones que abarquen —parafraseando una sugerencia— "radios muy grandes" respecto a las distancias de los puntos (A, B, C) al origen, etc.]
__________________________________________________________
Si hubiera alguna idea que no he captado de la observación de Rodrigo, agradeceré que se pueda explicitar, por parte de cualquiera. Gracias, nuevamente.