Visegrad a castigat importanta internationala in timpul regilor Anjou, intre anii 1308 si 1387. Carol Robert a inceput sa construiasca Palatul Regal in anul 1320, in zona din apropierea malului Dunarii, locul devenind repede resedinta lui preferata. Visegradul a gazduit faimosul summit regal in 1335, atunci cand Carol Robert, rege al Ungariei a gasit, alaturi de alte nume importante ale conducerii, un acord in a proteja independenta tarilor. Ceea ce turistii vad astazi este de fapt cladirea modificata sub domnia lui Ludovic cel Mare. Mai tarziu, regele Sigismund a extins cladirea si a adaugat mai multe curti si gradini.