Ce nom apparaît en 1238. A partir de 1320, la ville appartient conjointement au roi de France, à l'évêque de Vabres et au comte de Caylus. Durant la guerre de Cent Ans, elle passe sous domination anglaise, puis devient une importante place protestante lors des guerres de Religion. Au XVIIIe siècle, la ville prospère avec l'installation de draperies, de fabriques de bonnets et de tricots. Cette activité décline au XIXe siècle, alors que le secteur agricole se développe. Aujourd'hui, on peut y voir l'église néogothique du XIXe siècle et le rocher de Caylus, qui offre un beau panorama sur la région. Saint-Affrique compte plus de 30 dolmens !