Todo comenzó en 1879 cuando el cartero Ferdinand Cheval se encontraba repartiendo el correo en Châteauneuf-de-Galaure, un pueblo del sur de Francia. Cuando de pronto tropezó con una piedra en la acera que lo hizo desplazarse unos metros. Con el impacto la piedra saltó frente a los ojos de Cheval quién quedó maravillado con la forma particular de ésta.
Ferdinand la envolvió en un pañuelo y se la llevó al bolsillo con la idea de recolectar más piedras como aquella que tanto lo había asombrado, fue así como fue recogiendo piedras cambiando sus rutas y recorriendo cientos de kilómetros durante horas para recolectar más piedras y construir lo que el mismo Cheval llamó "El palacio ideal"
Cheval tardó dos décadas solo en construir la primera fachada de su palacio, durante los 13 años siguientes finalizó el proyecto completo que cuenta con un templo hindú, un castillo medieval, una mezquita y una sepultura en la que el propio Ferdinand pretendía que lo enterraran. Una prueba de que la perseverancia siempre trae buenos resultados.
En 1969 el "palacio ideal" fue declarado monumento histórico de Francia.
Hoy en día son miles los visitantes de todo el mundo que pagan por conocer este templo construido piedra por piedra.