Першою дружиною Кончаловського стала балерина Ірина Кандат. З нею режисер познайомився у 18-річному віці і негайно покликав заміж. Шлюб протривав 2 роки і саме Ірина пішла від Андрія до іншого.
За іронією долі вдруге режисер одружився також на балерині та актрисі Наталії Арінбасаровій. Кончаловський зробив їй пропозицію під час зйомок “Першого вчителя” 1965 року. Наперекір волі батьків, які тримали доньку під замком, цей шлюб все ж таки відбувся. Із другою дружиною Кончаловський прожив 4 роки. У пари народився первісток – син Єгор Кончаловський. Але у 1969 році вони розлучилися.
У 1967 році Кончаловський познайомився з француженкою Машою Меріль. Тоді він ще був одружений і не наважився зізнатися молодій актрисі у своїх почуттях. Через деякий час молоді люди знову зустрілися у Празі. Цього разу між ними спалахнув бурхливий роман, хоча між ними був мовний бар’єр. Андрій подарував коханці шість листівок і попросив відправляти йому по одній з них щомісяця, тим самим даючи знати, що її почуття до нього не згасли. Отримавши 4 з них, Кончаловський хотів почати нове життя і навіть розповів дружині про невірність. Однак незабаром він отримав п’яту листівку, в якій було написано, що Маша заручена.
Меріль не говорила російською мовою, а режисер погано розумів французьку. Це відіграло важливу роль: у четвертій листівці дівчина зізналася, що вагітна. Не отримавши на це жодної реакції, вона зважилася на аборт. Після чого вона прийняла пропозицію вийти заміж за давнього шанувальника.
Після зізнання Меріль про весілля, Андрій зустрів іншу жінку – Ірину Купченко. Це був недовгий роман, однак саме після нього він розлучився з Арінбасаровою.
Далі серце Кончаловського полонила перекладачка Вівіан Годе. В 1969 році вони стали парою офіційно. Через рік у них народилась дочка Олександра. Сімейне щастя подружжя тривало, поки чоловік не зустрів Олену Кореневу. В оточенні режисера її називали цивільною дружиною, але через 3 роки союз розпався. Після чого були короткочасні романи з Наталією Андрійченко, Лів Ульман, Кім Харріс і Ширлі Маклейн.
Четвертою офіційною дружиною режисера-постановника була Ірина Мартинова. Шлюб тривав 7 років, у пари народилися 2 доньки. Але вони не зупинили Кончаловського від чергового розлучення.
Волею долі на фестивалі “Кінотавр” Кончаловський в ліфті познайомився з Висоцькою. На той момент йому було 58 років, а актрисі – 22. Він одразу запросив Юлію зніматися в Англії, потім пара переїхала в Лос-Анджелес, де у 1998 році Андрій зробив Юлії пропозицію.
Через рік вони розписалися, а ще через 12 місяців у подружжя народилася дочка Марія, яка потрапила в ДТП і через серйозну травму голови вже 10 років знаходиться в комі. Також у пари є син Петро.
У Андрія Кончаловського також є позашлюбна доросла дочка Дар’я, яка народилася від роману з Іриною Бразговкою. Про існування дівчинки він дізнався лише тоді, коли тій вже виповнилося 16 років.