Czy pracodawca może przerwać urlop wychowawczy, gdy pracownik podejmuje dodatkową pracę w innym miejscu?

Z dniem dzisiejszym kończy mi się urlop wychowawczy. Pracuje podczas urlopu na umowie o pracę w szkole państwowej na pół etatu (pensum 11h tygodniowo). Wykonuje swoją pracę w dwa dni. Dzieci wówczas są pod opieką babci, albo taty, wymiennie. Pracuje dodatkowo na zleceniu kilka godzin w miesiącu. Czy pierwszy pracodawca (u którego mam umowę na czas nieokreślony i obecnie przebywam na urlopie wychowawczym) ma prawo wypowiedzieć mi urlop wychowawczy? Tłumaczy się, że ?trzyma? mnie na tym urlopie na siłę i chce zatrudnić kolejnego pracownika, a ja mu blokuje miejsce.