王阳明基于天理与人欲而言公私，实际上也关乎善恶的问题。对于舜象之事，王阳明有这样的阐发：“舜征庸后，象犹日以杀舜为事，何大奸恶如之！舜只是自进于乂，以乂熏烝，不去正他奸恶。”（同上，第128页）依王阳明的理解，舜在被征召任用后，象仍然对他时时有杀害之心，而舜只是自进于道义，不去正象之奸恶。
王阳明认为舜不去正象之奸恶，应是注意到了善恶无定的循环报复问题。一般而言，天地万物只是自在的存在，并无善恶的对待可言：“天地生意，花草一般，何曾有善恶之分？”（同上，第33页）但人在面对事物之时，却不能不有主观上的好恶，依之而有不同的善恶判断：“子欲观花，则以花为善，以草为恶；如欲用草时，复以草为善矣。”（同上）人往往陷于“有我之私”与“物欲之蔽”，故难以对善恶作出客观判断：“此等善恶，皆由汝心好恶所生，故知是错。”（同上）也就是说，一般人对于善恶的判断，只是基于自身的好恶而已，落入了自我的主观性之中，极有可能走向善恶无定的相对主义。正如王阳明在《南赣乡约》中所指出的那样：“人虽至愚，责人则明；虽有聪明，责己则昏。”（《王阳明全集》，第665页）人受主观性的影响，总是容易发现别人的过错，而对自己的过错难以自觉。而一般人所言的“义”，极有可能只是基于“人欲之私”而有的“私义”，而不是“天理之公”意义上的“公义”。
在现实生活中，责人者与被责者皆有自身的好恶，而难以作出客观的善恶判断。以己之善去责他人之恶，极有可能陷入报复的循环：以自我主观性的善恶判断去要求他人，则他人亦会依自身的判断提出反驳，这在家庭生活中尤其明显。亲人之间由于朝夕相处，极易形成成见而落入善恶无定的循环。有见于此，儒家有亲人之间“不责善”的传统。《孟子·离娄上》曰：“父子之间不责善。责善则离，离则不祥莫大焉。”父子之间既然不相责善，那兄弟之间亦应如此。舜之所以不去正象之奸恶，乃是因为，“若要指摘他是非，反去激他恶性”（同上，第128页），以己之善去正他人之恶，极有可能产生适得其反的效果。
那么，如何中断这种善恶无定的循环报复呢？王阳明认为，这需要人反思自身之好恶，以承担起对他人的绝对责任。即使象为极奸恶之人，舜也需对其不离不弃。对此，胡宏亦有所论及：“且弟以杀兄为事，在常人，或有报复之心；在贤者，则必引咎自责，不藏怒，不宿怨也；在圣人，则哀矜而训诱之矣。”（《胡宏集》，第232页）贤圣者在面对他人之奸恶时，首先要自责反思，以中断善恶无定的循环报复。
具体到舜化象这一伦理场景，王阳明提出了两点理由。其一，在面对他人的恶行时，自我首先应反思是否溺于主观上的好恶：“舜初时致得象要杀己，亦是要象好的心太急，此就是舜之过处。”舜其实也有过错，那就是太想教化象，以致于用心过急，反而激起了象的杀心。舜经过此事，“乃知功夫只在自己，不去责人”，而这也正是舜之“动心忍性、增益不能”处，体现了他的一片苦心。（参见《王阳明全集》，第128页）其二，既然经验生活中的善恶是相对的，那人就有可能掩饰自身的恶行，“凡文过掩慝，此是恶人常态”。（同上）故而，王阳明倡导“学须反己”的工夫，即在面对他人的恶行时，不仅需要反思自我是否落入了主观上的好恶，也需要权变智慧以防止激发他人的恶性。
当然，舜不去正象之奸恶，还有另外的原因，即：象之恶行仅局限于家庭生活之中，尚未对公共生活造成现实危害。张栻注意到了这一点，并认为这就是管、蔡与象的不同：“盖管、蔡挟武庚以叛，忧在庙社，孽在生民，周公为国讨乱也；象之欲杀舜，其事在舜之身耳，固不同也。”（《张栻集》，第505页）不过，与其说张栻注意到了公共领域与私人领域的差异，不如说他注意到了主观上与客观上的不同。管、蔡之叛乱危及客观的公共秩序，故周公需要为国讨乱；而象之欲杀舜，其事只涉及舜自身，尚停留在舜的主观性之中，未对客观的公共秩序造成危害。因此，就舜个人而言，不去正象之奸恶。
人在家庭生活中受主观性的影响，更易对兄弟产生成见，故王阳明认为工夫的关键在于“为学反己”，即随时反思自我是否夹杂私欲执着，而非一味去正兄弟之奸恶。质言之，在面对他人之恶行时，人首先需要反思自我，以避免落入主观性的好恶之中。若只是责备他人，则“只见得人不是，不见自己非”，若能反思自我，“方见自己有许多未尽处，奚暇责人？”而舜之所以能化得象的傲，“其机括只是不见象的不是”。若舜只是要正象的奸恶，就见得象的不是：“象是傲人，必不肯相下，如何感化得他？”（参见《王阳明全集》，第115页）尧舜之所以能成为圣人，正在于其能反思自我，“若尧舜之心而自以为无过，即非所以为圣人矣”。（同上，第193页）尧舜如果不能自觉过错，那就不能成为圣人了。王阳明甚至认为，舜虽然处于父顽象傲的伦理困境之中，但这也为其道德修为提供了条件：“舜不遇瞽瞍，则处瞽瞍之物无由格；不遇象，则处象之物无由格。”舜只有在这种伦理困境之中，才能真正动心忍性而提升自我，王阳明谓此为致知格物之学，“正不宜轻易放过，失此好光阴也”。（参见《王阳明全集》，第1288-1289页）实则，舜正是在这种艰难的伦理选择之中，才凸显了其人格的伟岸挺拔。进而，王阳明赋予“为学反己”以普遍的伦理意义，不但兄弟之间应如此，一般人之间亦应如此，“功夫只在自己，不去责人”（《王阳明全集》，第128页）。王阳明一朋友易动气责人，阳明劝之曰：“你今后只不要去论人之是非，凡当责辩人时，就把做一件大己私克去，方可。”（同上，第115页）显然，不见他非只见己过的工夫，并不能仅局限于门内的家庭领域，而应推广至门外的公共生活。关键在于，人应反思自我而不落入主观好恶之中，这就是要克去“人欲之私”以复归“天理之公”。
从实质上看，不去正他人奸恶乃是要中断善恶无定的循环报复。贺麟在阐释“三纲”的价值时即注意到了这一点：“故三纲说要补救相对关系的不安定，进而要求关系者一方绝对遵守其位分，实行片面的爱，履行片面的义务。所以三纲说的本质在于要求君不君，臣不可以不臣；父不父,子不可以不子；夫不夫，妇不可以不妇。换言之,三纲说要求臣、子、妇,尽片面的忠、孝、贞的绝对义务，以免陷于相对的、循环报复、给价还价的不稳定的关系之中。”（贺麟，第238-239页）不管对方的智愚贤不肖，人都应尽片面应尽的义务，以奠定维系人伦的基础。这种片面应尽的义务为无条件者，超越任何主观上的功利权衡。当然，承担起对他者的绝对责任，并非不顾道义乃至屈服于恶行：“说君不仁臣不可以不忠，就是说为臣者或居于臣的职分的人，须尊重君之理、君之名，亦即是忠于事、忠于其自已的职分的意思。完全是对名分、对理念尽忠，不是作暴君个人的奴隶。”（同上，第239-240页）在王阳明这里，舜不去正象之奸恶，不是因为两人系兄弟关系，而是因为舜要履行自己的职责。
王阳明虽然认为舜不去正象之奸恶，但亦指出舜并非不顾道义。《尚书·尧典》曰：“烝烝乂，不格奸”，“烝烝乂”正是指“以义熏烝”。“不去正他奸恶”并非放纵奸恶乃至罔顾道义，而是需要以“自进于义”作为前提。故舜对象之奸恶并非毫无自觉，只是说要先反己才能正人。至于兄弟之爱，王阳明认为有两种，一种“爱得是”，一种“爱得不是”，两者之间有严格的区分：“然爱之本体固可谓之仁，但亦有爱得是与不是者，须爱得是方是爱之本体，方可谓之仁。若只知博爱而不论是与不是，亦便有差处。”（《王阳明全集》，第217页）故王阳明认为，对于不孝不悌之人，实不能溺爱乃至放纵。他在阐释《春秋》“郑伯克段于鄢”时，认为郑庄公作为兄长有失教的过错，给予弟弟极大的封地与权力而任其胡作非为，其讨伐行为与周公诛灭管、蔡相比，只是“迹之近似”，而有实质的不同。（参见同上，第1077页）
反观王阳明，他既对兄弟爱护有加，亦对他们道义相砥。王阳明对兄弟的亲爱之心，见于他的诗句之中：“弟别兄兮须臾，兄思弟兮何处？景翳翳兮桑榆，念重闱兮离居；路修远兮崎险，沮风波兮江湖。”（《王阳明全集》，第733页）而对于兄弟中作奸犯科者，王阳明提出了严厉批评：“兄弟子侄中不肯略体息，正所谓操戈入室，助仇为寇者也，可恨可痛！”（同上，第1093页）其族弟王守度游荡放纵，王阳明要求其改邪归正：“守度奢淫如旧，非但不当重托，兼亦自取败坏，戒之戒之！尚期速改可也。”（同上，第1094页）对于不遵奉家规而败坏家风者，王阳明主张实施严格的惩戒，“我归来日，断不轻恕”。（参见同上，第1092页）显然，王阳明对于兄弟，并非只是亲爱而不顾道义。
从表面上看，“不去正他奸恶”与“以义熏烝”相互矛盾，前者意味着舜不去纠正象之不义，而后者意味着舜应以道义去规范自己与象的行为。王阳明提出这两种看似矛盾的说法，只不过是要表明：在面对亲人之恶时，首先应反思自我有无“人欲之私”，以避免陷入善恶无定的循环报复；其次才是以“天理之公”亦即“公义”去端正他人。因此，“门内之治恩掩义”只是说亲人之间应以恩情为出发点，但不能全然不顾及道义。
