Hackfort, huis en landgoed door