Выселение бывшего члена семьи

Добрый день! До развода проживала с мужем в его квартире и муж меня там прописал. Три года назад родилась дочка. После развода мы с дочкой остались жить в квартире мужа. Но мой бывший, постоянно говорит о том, чтобы я выписалась и съехала к родителям. Мы же теперь чужие люди и ему надо строить новую жизнь. Я понимаю, что он имеет право выселить меня, но ведь у нас есть дочь, которая родная не только мне, но и ему, неужели он сможет выселить нас с дочерью?