制宪会议代表们在《美国宪法》上签字，一七八七年九月
一七八七年五月二十五日，制宪会议在费城正式议事。弗吉尼亚派了七位代表，华盛顿当选为主席，他除了主持会议之外，一言不发。
麦迪逊在会议中作了一百八十多次发言和插话。
五月二十九日，弗吉尼亚代表团长艾得蒙・伦道夫(Edmund Randolph)在会上提出了“弗吉尼亚方案”，打破了修正《邦联条款》的框框，方案是由麦迪逊设计的，最后通过的宪法以“弗吉尼亚方案”为蓝本。“弗吉尼亚方案”代表的是大州利益，反对派认为这是一次大州的阴谋。
五月三十日，会议通过决议，新政权由立法行政和司法三个部门组成。代表们对立法机构由上下两院组成没有太大分歧。大州和小州之争在于议员的产生方式上。上下两院名额是按人口分配还是州来分配，代表们争论不休。最后达成了妥协，史称“伟大的妥协”，上院也就是参议院，议员每州两名，各州的权益相等；下院也就是众议院，议员按人口比例分配。
南方各州的奴隶制起了重要作用。为了照顾南方小州的利益，会议决定奴隶以五分之三个人来记算。这一决定，导致了奴隶制的延续和后来的南北战争。
除此之外，对于人权法案的争论也是会议的焦点，为了产生一个统一国家这样一个压倒一切的会议宗旨，人权法案直到休会也没被列入宪法。
关于批准宪法的方式，也有过激烈的争论，最后决定由各州另选一个宪法委员会来批准宪法。十三个州中必须有九个州批准，宪法才能生效。会议中，麦迪逊，汉密尔顿和富兰克林(Benjamin Franklin)是支持大联邦的灵魂人物。必须指出，制宪会议上的坚持州权的代表们对宪法的贡献不亚于支持大联邦的人，很多条款来自双方的妥协。
只有三名制宪会议代表最后没有在宪法上签名，他们是来自马塞诸塞(Massachusetts)的埃尔布里奇・格里(Elbridge Thomas Gerry)，大联邦的坚决反对者；还有两位是来自弗吉尼亚的艾得蒙・伦道夫和乔治・梅森(George Mason)，他们坚持要在宪法中加入人权法案，最后人权法案作为宪法的前十条修正案被写入宪法。
麦迪逊是个有心人，他详尽地记录了整个制宪大会的每一次讨论。他的笔记成了后世研究美国制宪历史的宝贵资料。
为了让宪法在各州能顺利通过，麦迪逊，汉密尔顿和约翰・杰伊（JohnJay）在报纸上撰文为世人描述了一幅以宪法为建国基石的美国政治生活图象。这些文章集为《联邦党人文集》。
麦迪逊在他的文章中说：“政府在很多情况下仅仅是多数选民的工具，只要存在作坏事的利益和权力，坏事就会作出来。在这方面多数派和强有力的集团决不比强有力的自私的君主心肠梢软。”
麦迪逊在如何防止各种利益相同者联合起来压迫少数时说：“当社会分为更多的利益集团，更多的追求目标，更多的偏爱时，它们可以相互抑制，而那些本来可以构成共同情绪的人就很难有机会互通信息聚集成团。因此，可以得出与流行理论相反的结论：合众国之弊病与领土庞大成反比，与领土狭窄成正比。”在麦迪逊看来，国家越大，利益集团越多，合众国成功的可能性越大。换成现代术语，就是在多元化的政治下才有可能天下太平。
宪法批准后。麦迪逊击败了詹姆斯・门罗(James Manroe)，于一七八九年成为美国众议院议员。他起草并促使通过了《权利法案》（Bill of Rights）（一七九一年）。
华盛顿执政期间，麦迪逊在众议院中支持杰弗逊为首的民主共和党（Democratic Republican Party）。
一七九八年，亚当斯总统执政期间，麦迪逊起草了《弗吉尼亚决议案》，指《外侨法》和《叛乱法》违宪。《弗吉尼亚决议案》和《肯塔基决议案》（杰弗逊）是反对联邦党的号角。
杰弗逊总统执政期间，麦迪逊被任命为国务卿。麦迪逊是购买路易斯安那（Louisiana Purchase）的策划者；他反对向非洲海盗交纳保护费；积极支持对英法的禁运。
一八零八年，在杰弗逊的支持下麦迪逊顺利当选为第四届美国总统。和伟大的政治思想家麦迪逊相比，作为政治活动家的总统麦迪逊大为逊色。
在麦迪逊的总统任期内，最重要的事件是一八一二年战争（War of 1812）（一八一二至一八一四年）。这是一场莫名其妙的战争，起因至今尚有争论。一般认为是在好战分子亨利・克雷（Henry Clay）和约翰・卡洪（John Calhoun）推动下，麦迪逊身不由己地走向了战争。
就在美国向英国宣战时，英国下令取消了对美国的禁令。由于通讯落后，一个月后，美国才得到消息，仗已打了起来。
麦迪逊后来自己说过，要是消息灵通，就不会有一八一二年战争。麦迪逊在战争这件事上很认真，要不是国会的坚持，他是不会开战的。
美国政府认为在战争中有机会夺取加拿大，就分兵三路进攻加拿大。除了伊利湖（Lake Erie）中的海军取得小胜，其他美军不是投降就是战败。
