Границы земельного участка

Добрый вечер! У меня есть госакт на земельный участок, который я приобрёл в 2013 году. Два года назад в торце моего участка появился новый владелец, которому выделил землю Горсовет. Согласования границ мы с ним не осуществляли. Теперь он мне предъявляет, что я залез на его территорию на 4 метра, и чтобы я в срочном порядке передвигал забор. Что мне делать? Заранее спасибо!