Имеет ли право выселенный приходить в гости к прописанному?

Здравствуйте.

Что в этой ситуации делать?

Вы правы, ситуация в которой Вы можете оказаться очень сложная. У Вашего брата есть список прав, которые ему предоставлены ЖК РФ:

Статья 31. Права и обязанности граждан, проживающих совместно с собственником в принадлежащем ему жилом помещении
1. К членам семьи собственника жилого помещения относятся проживающие
совместно с данным собственником в принадлежащем ему жилом помещении его супруг, а также дети и родители данного собственника. Другие
родственники, нетрудоспособные иждивенцы и в исключительных случаях иные
граждане могут быть признаны членами семьи собственника, если они вселены собственником в качестве членов своей семьи.
2. Члены семьи собственника жилого помещения имеют право пользования данным жилым помещением наравне с его собственником, если иное не установлено соглашением между собственником и членами его семьи. Члены семьи собственника жилого помещения обязаны использовать данное жилое помещение по назначению, обеспечивать его сохранность.

Таким образом, у Вас в данной ситуацией остается только один вариант, это вызывать полицию и говорить, что данное лицо прекратило право пользования указанной квартирой и находится на территории вашего жилого помещения.

Но, учитывая показания Вашего брата, в 99 % случаях органы полиции откажутся что-то делать, но это доставит большое неудобство лицу, которое находится в жилом помещении без Вашего согласия.

С уважением,

Шелковая Наталья Николаевна