Quézac étire ses maisons le long de l'ancienne draille qui va vers le pont gothique. Sa vierge, sa collégiale, son pont furent les trois grands soucis de Quézac au cours des siècles.
La Vierge de Quézac, une des plus vénérées en Gévaudan, aurait été trouvée au 11ème siècle par Jacques Deleuze, un cultivateur. Ses boeufs s'arrêtèrent en creusant un sillon à un endroit précis et refusèrent d'aller au-delà. On creusa à cet endroit, on trouva la statue, on la porta à l'église. Elle revint d'elle-même par deux fois, au lieu de sa découverte. On lui construisit donc là une chapelle, qui devint l'église paroissiale et aurait été consacrée en 1052. Des légendes analogues sont courantes au Moyen-Age, avec de légères variantes.
Le pape gévaudanais Urbain V créa une collégiale à Quézac en 1365, pour mieux vénérer cette vierge ; il l'enrichit, lui qui appréciait tant les reliques, d'un reliquaire en vermeil contenant un cheveu de Marie.
Il fallait un pont pour permettre aux pélerins de franchir le Tarn sans danger, quantd la rivière débordait. Une bulle de Benoit XIII en 1395 en concéda l'indulgence d'un an et un jour à qui ferait une aumône pour le pont.
Le vierge, selon la tradition, fut brulée en 1562, quand les huguenots attaquèrent et pillèrent la Collégiale. On remplaça la statue ; la nouvelle fut sauvée à la révolution par une famille du nom de Méjean.
La riche Collégiale fondée par Urbain V attira sur Quézac les convoitises des gens de guerre huguenots. Trois fois, ils s'acharnèrent sur ce couvent château, devenu aujourd'hui maison des Ursulines, aux murs épais de 1,20 m. En 1562, les deux mille hommes du baron d'Anduze, qui marchaient sur Mende, se tournèrent de Montmirat pour aller piller Quézac : "reliquaires, ornements, cloches, meubles, titres et documents d'archives", tout disparut. Le toit de l'église brûla, l'hopital aussi ; et la vierge !
En 1567, quand Bertrand de Cénaret tente en vain de pacifier le Gévaudan, Thoras, cadet de Peyre, chef des protestants, ordonne de bruler la Collégiale. Enfin en 1580, Merle, avec son artillerie, s'en empare et pille non seulement la demeure des chanoines, dont plusieurs périssent, mais tout le village. Les protestants garderont le "fort de Quézac" jusqu'à la campagne de Joyeuse en 1586.
L'église fut relevée à la fin du 16e siècle et devint gothique. Son entrée, au midi, s'orne d'un proche carré fort imposant. Son clocher crénelé est caractéristique.
Quézac a un pont fameux, emporté en 1395 par une crue du Tarn, il n'était pas encore reconstruit en 1408 [...] L'inondation de 1705 endommage gravement le pont. Il faudra plus de 30 ans pour que les Pélissier de Béziers, le remettent en état.
Ce tant rude Gévaudan, Félix Buffière, p 1461