Slægten Lotz stammer fra Polen, allerede i begyndelsen af det forrige århundrede kom Martin Lochewitz til Skælskør og fik borgerbrev som murer og stenhugger i Skælskør, han syntes at efternavnet var for besværligt så det blev ændret til Lotz, det var en af hans efterkommere der byggede Rekreationshjemmet.

Det ligger lige ved kirkegården og blev opført som privatbolig af købmand J J. Lotz i 1916. De to store møllesten i muren vidner om at købmand Lotz havde ejet Dampmøllen i Vestergade.

I haven er der en forhøjning i terrænet ud mod kirkegården, dette var et udsigtspunkt der var samlet af overskydende jord fra byggeriet, det siges at det varede en mand 14 dage at samle jorden med en trillebør.

I 1955 blev det købt af kommunerne i Sorø Amt undtaget Korsør, som lod det indrette til fælles rekreationshjem.