umowa najmu okazjonalnego,nieważna umowa

Wraz z żoną i córką (3lata) wynajęliśmy część domu na zasadach najmu okazjonalnego. Mieszkamy w nim już prawie 5 miesięcy, płacimy terminowo, zajmujemy się domem i działką a teraz u notariusza okazuję się że nasza umowa jest nieważna ze względu na to że ten dom nie jest nawet zarejestrowany jako lokal mieszkalny. Zostaliśmy zapewnieni że wsztstko jest legalnie od właścicielki która rzekomo pracowała u notariusza i się na tym zna. Właściciele nie chcą podpisać innej umowy i twierdzą że mieszkamy u nich bezprawnie i mamy się wynieść bo i tak nie mamy żadnych praw. Czy naprawdę nie mamy nic czym możemy się bronić?