Полковник Джеймс Мадисън-старши — плантатор и баща на четвъртия президент

Полковник Джеймс Мадисън старши е син на плантатора и политик Амброуз Мадисън и съпругата му Франсис Тейлър и е роден през 1723 г. в Ориндж Каунти, Вирджиния. Когато е на девет години, семейството му се премества в новата си плантация Маунт Плезънт през 1732 г. Баща му е наел роби и надзирател, за да я разчисти - работа, която продължава пет години, за да се установи култивиране. Същото лято (1732 г.) баща му умира на 36-годишна възраст през август след кратко боледуване.

Семейството или шерифът смятат, че той е бил отровен от роби, а трима от тях са обвинени по случая и осъдени от мировите съдии. Необичайно е, че само един роб е екзекутиран; Дидо и Тюрк, собственост на вдовицата Франсис Тейлър Мадисън, са ѝ върнати, за да ѝ служат като работници, след като са наказани с бичуване.

Джеймс е обучаван и подготвян за плантатор, робовладелец и член на поземленото съсловие. Майка му, която овдовяла, никога не се омъжила повторно, което било необичайно по онова време за жена на нейната възраст; тя имала обширно семейство Тейлър в графството. Като най-голям син Джеймс Мадисън старши наследява Маунт Плезънт, когато навършва пълнолетие през 1744 г. Той нарича плантацията Home House. Придобивайки още земя, в крайна сметка притежава 5000 акра, което го прави най-големия земевладелец в окръг Ориндж. Към момента на смъртта си той притежава 108 роби.

Мадисън се жени за Нели Конуей (Порт Конуей, окръг Каролайн, Вирджиния, 9 януари 1731 г. - Монпелие, окръг Ориндж, Вирджиния, 11 февруари 1829 г.), също от класата на плантаторите (родното ѝ място е кръстено на семейството ѝ). Имат дванадесет деца:

• Джеймс Мадисън (16 март 1751 г. - 28 юни 1836 г.)
• Франсис Тейлър Мадисън (18 юни 1753 г. - 5 април 1800 г.)
• Амброуз Мадисън (27 януари 1755 г. - 3 октомври 1793 г.); женен за Мери Уилис Лий (27 май 1755 г. - 14 март 1798 г.), дъщеря на Ханкок Лий II и Мери Уилис Катлет Мадисън (10 февруари 1758 г. - 18 март 1758 г.)
• Нели Конуей Мадисън (14 февруари 1760 г. - 24 декември 1802 г.)
• Уилям Тейлър Мадисън (5 май 1762 г. - 20 юли 1843 г.)
• Сара Катлет Мадисън (17 август 1764 г. - 17 октомври 1843 г.)
• неназовано дете (1766-1766)
• Елизабет Мадисън (6 февруари 1768 г. - 17 май 1775 г.)
• мъртвородено дете без име (12 юли 1770 г. - 12 юли 1770 г.)
• Рубен Мадисън (19 септември 1771 г. - 5 юни 1775 г.)
• Франсис Тейлър Мадисън (4 октомври 1774 г. - 4 октомври 1823 г.)

По време на Американската революция Мадисън е председател на Комитета за безопасност на окръг Ориндж. Той е назначен за полковник в милицията на Вирджиния.