Как усыновить ребёнка от первого брака?

Здравствуйте, уважаемые юристы! Моя проблема в следующем: когда моему сыну было 4 месяца, я узнала, что супруг нашёл себе другую семью и подала на развод, на взыскание алиментов и на моё содержание. Через какое-то время в моей жизни появился человек, который все наши заботы и проблемы взял на себя. Когда ребёнок начал говорить, он стал называть его папой. Настоящий отец с нами отношений не поддерживает, сыном не интересуется и никогда с ним после развода не встречался. Через некоторое время в новом браке родился малыш, и мой муж захотел официально усыновить старшего ребёнка, но бывший супруг не хочет писать отказную. Подскажите, пожалуйста, куда и с какими документами я могу обратиться для лишения его отцовских прав с последующим усыновлением старшего сына моим мужем? Насколько это реально и есть ли смысл тратить время на суды пока ребёнок ещё маленький, чтобы не травмировать его психику в будущем?