Старший сын Фернандо Альвареса де Толедо-и-Сармьенто (1390—1460), 1-го графа де
Альба-де-Тормес
, и Менсии Каррильо де Толедо-и-Паломеке, сеньоре де Берсимуэль.
В 1460 году, после смерти своего отца, Гарсия Альварес де Толедо унаследовал титул и владения графа де Альба-де-Тормес. В 1472 году
король Кастилии
Энрике IV
пожаловал Гарсии Альваресу де Толедо титул герцога Альба и возвёл графство
Альба-де-Тормес
в степень наследственного герцогства.
В 1448 году женился на Марии Энрикес де Киньонес-и-Толедо, дочери
(ок. 1390 — 1473), адмирала Кастилии, и Терезы Фернандес де Киньонес. В браке у них родилось 5 сыновей и 4 дочери:
Мансия Энрикес де Толедо, жена с 1474 года
Бельтрана де ла Куэва
(1443—1492), графа Ледесмы (1462—1494) и Уэльма (1474—1492) 1-го герцога
Альбуркерке
(1464—1492)
Тереза Альварес де Толедо (ум. 1487), жена с 1482 года Педро Фернандеса Манрике де Лара-и-Виверо (ок. 1453 — 1515), 2-го графа Осорно (1482—1515)
Франсиска Альварес де Толедо, муж с 1476 года —
(1467—1526), 2-й герцог Альбуркерке (1492—1526)
Мария Альварес де Толедо, жена с 1491 года Гомеса Суареса де Фигероа (ум.
1505
), 2-го графа Фериа (1461—1505)
(ум. 1532), 1-й сеньор Виллориас, женат на Марии де Рохас-и-Перейра. Его дочь, Мария Альварес де Толедо-и-Рохас (1490—1549), стала женой 4-го вице-короля Новой Испании
Диего Колумба
(1474/1480 — 1526), сына адмирала
Христофора Колумба
, первооткрывателя Америки.