该不该把房子借人住呢？

我家有两套房子，一套大点的和一套小点的，小房子是单位分的，50多平米。小房子离孩子上学的学校近，我们7月份就搬放到了小房子里居住，偶尔到大房子那边去住住。上月从老家来了一家不远不近的亲戚，三个大人带一个孩子来治病，孩子8个月了病的严重，和我们聊聊意思是想住我家里，其实亲戚来之前到我父母家说要来我们这里看病，说能治就治，不能治就回去。
他们过来后，我了解了一下，其实他们上周已经来我们这里的医院确诊了，这次是专门来做康复治疗的。
现在的问题是如果让他们住，则只能让他们住大房子，并且是要把钥匙交给他们，就相当于这几个月或者以后的很长一段时间，这房子就归他们管了，这样我总觉得不太放心，也不太舍得。
房子有一套空着不让显得不近人情，再就是我心里总也有点觉得良心不安。现在的情况就是让住也不合适，不让住也不合适。郁闷死了，不知道该怎么办才好，听听大家意见了，大家说该怎么办？