Добрый день!
Исходя из Вашего вопроса.
Вы и Ваш сын в полном объёме имеете право пользования данным жилым помещением. Вас никто не выселит из данной квартиры, если Вы сами не сниметесь с регистрационного учёта по данному адресу.
Выселение было бы возможным, если бабушка являлась собственником данной квартиры и будучи собственником она вселила Вас в свою квартиру, то в судебном порядке она вправе признать за Вами утратившими право пользования жилым помещением со снятием с регистрационного учёта по данному адресу.
По поводу конфликтов что именно делать решать Вам, но Вам бы не плохо было бы при возникновении конфликтов вызвать полицию, хотя бы для того, что бы этот конфликт был зафиксирован и что бы ваши показания были подтверждены хотя бы вашими соседями.

Надеюсь мой ответ поможет Вам!
Выразите благодарность за этот ответ! Благодарю!