Fief de la branche ainée de la famille de Cardaillac, la commune a été bâtie à partir de 1064 sur un promontoire rocheux à la demande de Hugues baron de Cardaillac. En 1188, il subit l'assaut de Richard Coeur de Lion, futur roi d'Angleterre. Pendant les guerres de religions qui déchirèrent le Quercy, Cardaillac est donné aux protestants par l'édit de Nantes. Cette riche histoire est tatouée dans les pierres qui ont construit le village. Lorsqu'on le regarde aujourd'hui, on remonte le temps et c'est un concentré de l'atmosphère médiévale qui est encore palpable. Ne manquez pas le puits Manganel creusé dans le rocher et le Musée Eclaté.