Grimstrup Slot nævnes første gang i 1359, blev siden kongens ejendom og af dronning Margrethe foræret til Birgittinerklostret i Maribo.
Nedrevet i 1400 tallet. På en tange ved Nørresø ligger voldstedet, der består af flere borgbanker adskilt af voldgrave og volde.
Foruden dette store voldsted ligge der to andre voldsteder i Lysemose Skov.