Construit in secolul al XVII-lea, in stil baroc, Conacul Haller a fost mentionat pentru prima data in 1615, cand exista deja de o anumita perioada de timp. O harta realizata in acele vremuri de catre armata austriaca indica prezenta si altor constructii in jurul castelului, daramate la diferite intervale de timp. De asemenea, conacul e amintit ca avand tinda baroca. De-a lungul timpului castelul a apartinut familiilor Bethlen, Karolyi, Lazar.

In ultimii ani, castelul a avut mai multe functii: resedinta familiior Bethlen, Karolyi, Lazar; magazin din 2011, prilej cu care a fost descoperit si un fragment arhitectonic renascentist; in prezent gazduieste primaria, consiliul local si caminul cultural – comuna Matei.