Granica działki. Ustalenie granicy działki.

Kupiłem 5 lat temu od Agencji Nieruchomosci Rolnych działkę . Po przepisie notarialnym postanowiłem wezwać geodetę i wznowić granice działki . Przy okazaniu granic byli obecni sąsiedzi . Okazało się ze na mojej działce maja cześć nielegalnie przywłaszczonego podwórka - nie jest ono ogrodzone lecz jest na nim nielegalne nie naniesione na mapy szambo i kojec dla psa ! Sąsiedzi mieszkają tam ok 40 lat . Po okazaniu granic zapoznali się ze nie są właścicielem szamba i końca ale nic sobie z tego nie robili . Gdy chce teraz zagrodzić działkę zgodnie z wytyczona granicą wystąpili do sądu z wnioskiem o zasiedzenie ! Czy maja prawo do mojej ziemi w sądzie ? Czy nie mam się czego obawiać ?