Когда подошёл срок полной оплаты стоимости квартиры1

Добрый День! Ситуация такая. Я продавал квартиру покупателю в течении трех месяцев. Данный покупатель передавал мне деньги несколькими суммами. Три раза по 500 тысяч, первый платеж был 1.06, второй, 1.07 и третий 1.08. Когда подошёл срок полной оплаты стоимости квартиры(1.09 именно эта дата была указана в расписке как дедлайн по оплате полной стоимости квартиры), покупатель заявил, что банк ему отказал в кредите и он от покупки отказывается до полной стоимости квартиры ему необходимо было выплатить еще миллион рублей. На первые две суммы (то есть миллион рублей) была написана расписка, что данная сумма является задатком, то есть по сути при расторжении сделки по вине покупателя не возвращается. На третью сумму, документов никаких оформлено не было. Когда покупатель передавал право на покупку квартиры третьим лицам, в расписке он своей рукой прописал о том, что деньги ему по расписке были возвращены в полном объеме(дата когда он это писал была уже 16.09). Спустя год покупатель подает на меня в суд с требованием вернуть ему сумму в 500 тысяч рублей. Но так как на данная сумма с расписке не фигурирует, суд признаёт ее авансом. В итоге получается, что миллион который он предоставлял в качестве задатка я ему вернул добровольно, а 500 тыс которые не были оформлены по документам я должен ему сейчас вернуть. У меня вопрос, могу ли я сейчас в судебном порядке истребовать у покупателя данный миллион, который вернул ему, в связи с тем, что спустя год у него возникли ко мне претензии?