O parte din abatia Sf. Maria din Trim a fost transformata in 1415 intr-un conac de catre Sir John Talbot (care a devenit apoi vicerege al Irlandei), si este cunoscut sub numele de Castelul Talbot. Blazonul acestuia arme poate fi vazut pe peretele de nord al cladirii. Talbot a plecat la razboi in Franta, unde, in 1429 a fost invins la Orleans de nimeni alta decat Ioana d'Arc. El a fost luat prizonier, iar dupa ce a fost eliberat s-a reintors pe campul de lupta impotriva francezilor (1453). Glorioasele sale fapte de arme i-au adus porecla de biciul francezilor, fiind amintit de Shakespeare in Henry al VI-lea.

Castelul a jucat un rol important in istoria educationala a orasului Trim in secolele XVIII - XIX, cand a gazduit Scoala Eparhiala, cunoscuta si sub numele de Scoala Latina. Sir Arthur Wellesley, viitorul duce de Wellington, si Sir William Rowan Hamilton, au fost aici educati.