那么，杰弗逊对奴隶制的看法全貌究竟是怎样的呢？首先是他对黑人群体并非特别友善，评价也不高，他对于印第安人更看得起些，认为其孔武骁勇，基本可以说达到平视的态度，但是他对于黑人群体则是明显轻视和看低，他给出的理由之一是认为黑奴经常在白人主人旁边生活，却没能充分学习到白人的所谓“仪态”和“风度”，因此是难以被教化与启迪的一群人（参阅Gordon Wood相关研究）。不过，杰弗逊也曾很坦率地承认，若黑奴在美国得到的境遇和被对待的态度都更好一些的话，也许黑人在他的看法中的形象也会得到一些“进化”，亦即，他也承认，对于黑人在他眼中不佳的形象，白人奴隶主对黑人奴隶的凌虐态度可能要负一部分的责任（参阅Max Lerner的研究）。笔者在参加研究生层级的杰弗逊政治文献读书班，和为本科生讲解杰弗逊思想时，发现很多当代美国学生读了杰弗逊对黑人状况的描述后，都会认为杰弗逊的措辞在今日视角下，确有一些种族主义的倾向色彩。杰弗逊的确赞成在长时段上设置废奴为目标，但却一再地强调不能由联邦政府单方面出面宣布废除奴隶制，而是应由广大奴隶主们自发地同意去主动废除奴隶制度。因此，在现实立法层面杰弗逊为废奴做的工作非常的少，其中最主要的是在1778年，他曾经为弗吉尼亚州撰写了一部法律，希望能禁绝从非洲进口奴隶。
此外，这还关切到人口统计上的问题。美国初建时代里，宪法所定统计人口的规则是将奴隶的实际人口乘以五分之三来计算（直到内战后才被废除），这样的措施安排自然是对蓄奴的南方比较有利。有当代学者曾认为若刨去蓄奴州多出来的票，杰弗逊将根本无法赢得1800年美国总统选举（不过，学界对此亦有不同意见）。其实，早在杰弗逊当总统时，他的政敌们就已一再地批评杰弗逊是一个虚伪的人，宣称人人平等、皆有权利的人又怎么会去蓄奴呢？杰弗逊在此点上无法自洽；而且杰弗逊的政敌们还指出，杰弗逊之赢得1800年大选，完全是基于五分之三条款上的，否则他根本赢不了，也就是说，是奴隶制把杰弗逊抬进了白宫（参阅Robert M. S. McDonald的研究）。因此，当代学者对杰弗逊的批评其实并不新颖，而是早已有之，且是否真的完全成立，亦存有疑问。不过，有一点应是可以确信的，即由于五分之三条款的存在，杰弗逊和南方政治势力作为潜在受益方，确实并无马上迅速废除奴隶制的动力。
杰弗逊亦曾有为黑人主持公道的时候。在他担任弗吉尼亚州长的时候，一次有一名黑人被定罪为叛国，杰弗逊认为判决不公道，于是动用州长权力给予该名黑人缓刑，待到议会结束休假重开时再行审理。杰弗逊做出这个决定是需要一定政治勇气的，因为当时他的州长任期很快就要届满了，而且他也没有一个咨询委员会能帮他的决定背书，但杰弗逊还是坚持这样做了（参阅Jeremy D. Bailey: Thomas Jefferson and Executive Power, Cambridge University Press, 2007, 42-43）。此外，杰弗逊提倡在弗吉尼亚州内减少需要大量奴隶进行劳作的作物产业，特别是烟草业，转而提倡推行种植需要奴隶数量较少的小麦、稻米、葡萄和橄榄树等，希望能借此减少弗吉尼亚对奴隶的需求。
法国大革命期间发生的海地革命，黑人奴隶暴动，白人奴隶主遭殃，这一事件极大地触动了杰弗逊，与其说他是因为同情法国大革命进而同情到海地的黑奴（其实他并没有太多同情，反而是对逃难到美国的海地白人奴隶主阶层颇有慰问），不如说杰弗逊是被黑人群起反抗时所释放的巨大能量，及与此相伴随的流血事件所深深震慑到了。他深刻意识到大量使用黑人奴隶本身所带来的巨大隐忧。
从基本面上说，作为奴隶主的杰弗逊是赞成废奴的。在杰弗逊看来，奴隶制最大的恶是其限制了被奴役人群的自然能力（natural capacities）的增长（参阅Ari Helo的研究）。但是他的赞成废奴有着至少三重的附带性条件，第一，他只同意渐进式的废奴，而不同意一刀切的直接废除，他强调奴隶主在废奴时遭受的财务损失应由公共财政拨款（主要来自出售联邦土地的相关利润）来弥补；第二，他认为获得自由的奴隶，应被送回非洲，或者被送到加勒比海岛国上去；第三，在他看来，黑奴获得解放之后造成的劳动力缺口应由引入欧洲自由劳动力移民（最主要的是德国新教徒阶层移民）来填补。杰弗逊本质上认为黑人不如白人，因此二者之间的通婚混血应被禁绝。杰弗逊又认为鉴于白人奴隶主对黑人的虐待和压榨，一旦黑人获得解放，必将极端仇恨白人，若不将其移出美国，黑白共存下势将有无数针对白人的黑人暴动发生，因此这两种人群不能被放在一处生活，被解放的黑人必须到美国以外的世界自寻其生活之所。
杰弗逊另有一种非常奇怪，甚至可说是诡异的想法，他认为他自己对黑人问题的看法是有真知灼见的，因为他亲身蓄奴过，和奴隶打过很多交道，而奴隶制在美国主要行于南方，很多美国人对奴隶制并无切身经验，因此他们也就大概率地不会支持杰弗逊在奴隶制问题上的三点主张，那么为了获得他们的支持，就有必要把奴隶制普及开来，特别是在当时美国新拓展的西部疆域普及开来。于是，杰弗逊认为，使奴隶制在美国南方以外地区散布开来，然后人们皆切身体验到其日常实施的状况，然后人们应该就会普遍会同意采纳杰弗逊提出的看法和解决方案。（关于此，参阅John P. Kaminski及William W. Freehling相关研究和总结）杰弗逊对奴隶制在西部新拓疆域里的传播不设限制的态度立场，一直以来都引起很多人的质疑和批评（参阅Garrett Sheldon研究）。
最后，应该说明的一点是，尽管美国是近代人类历史上最有名的蓄奴制国家，并因此受祸绵延不绝，不得不在废奴和平权的道路上求索不止，但奴隶制和奴隶贸易重要肇始者之一乃是英国（这也就是为什么在开篇时我们看到杰弗逊曾攻击英皇）。纵观大英帝国史，其虽于内部发展出高度成熟的政治文明和自由主义理念，1688年光荣革命后政局基本保持长期稳定，却同时向美洲搞奴隶贸易，向中国搞鸦片贸易，在全球广占殖民地并以挑唆不同人群间矛盾为其治法，这种高擎的理念之旗和龌龊的现实手法之间巨大的落差，虽已随帝国残阳成为陈迹，的确仍值得吾人今日回顾时再三反思、检视和批判。
