不过话说回来，肃顺也的确是块做官的料，他虽然年轻时读书不多，但他的记忆力很强，只要和人见过一面，终身都记得别人的形体相貌；办理一件事情后，过上几年都还记得里面的内容词句。有人曾这么总结他的能力，说他“才浅而远见、学疏而有识”，博闻强记，行事果断；可惜的是，太喜欢拥权专权了。值得称道的是，在国内战乱频频的时候，肃顺力主平等看待满汉并重用汉人，当时镇压太平军的清军主将如胡林翼、曾国藩、左宗棠等人，肃顺就在在朝廷中给了他们很大的帮助。
载垣、端华、肃顺等人在北京的时候，便受到咸丰的倚重，在随同北走热河后，这些人更是深得咸丰的专宠信赖。特别是肃顺，咸丰命他以户部尚书兼协办大学士的名义佩管内务府印信钥匙，并署领侍卫内大臣，负责热河行在的一切事宜。换句话说，肃顺不但参与了当时所有的军国大事，就连皇家事务也归他管，俨然就是热河行宫的全权大总管。
咸丰最终选中肃顺等人为年幼的皇帝辅政，原因无外乎有三：一是肃顺等人和咸丰的政见相似，他们在对内和对外问题上基本保持一致，比如对内主张使用汉臣并重用湘军等，在对外问题上，他们则思想保守，偏于强硬，不善于外交；二是咸丰认为肃顺等人办事果断，不讲情面，以他们的能力和智慧，可以保证大清朝政的正常运转并镇压太平军起义等；三是肃顺等人虽然位高权重，但从血统上来说，他们或是远支宗亲，或者和皇室根本没有关系。也就是说，这些人即使掌握大权，他们也不可能对小皇帝构成重大威胁。
以上也就是咸丰最终放弃自己的弟弟恭亲王奕?而选用载垣、肃顺等人辅政的原因。咸丰或许认为，如果将奕?拉进辅政班子的话，不但会危及皇权，而且会因为两派政见相左而内耗不休，结果反使得朝纲紊乱，大清王朝更加岌岌可危。
咸丰到热河后，由于身体虚弱，对肃顺最为重视。由于频繁召见，咸丰甚至允许肃顺平时身穿便服，并可随意出入行宫（因为他是大总管嘛）。到后来，肃顺竟然发展到连嫔妃也不回避的地步，这把宫内的一些人给惹怒了。
作为内宫之主的皇后钮钴禄氏，对肃顺随意出入行宫的举动极为不满，因为这不但有违后宫严禁外臣擅入的祖制，也有违男女之别的传统道德与礼制。但是，钮钴禄氏为人平和善良，她倒也没有将不满过分表达，但另一个人就不一样了，她就是慈禧。
慈禧和肃顺的矛盾由来已久。早在北京的时候，肃顺就对咸丰让慈禧批答奏章、干涉朝政表示过不满，想必慈禧也有所耳闻。在咸丰一行人逃亡热河的途中，由于沿途准备不足，慈禧当时乘坐的是一辆状况非常差的车，她受不了路上的颠簸，只好三次向肃顺屈尊“泣求”换辆好点的车。但逃亡途中，山高路远，肃顺一时也找不到好车，被逼得急了，就不耐烦地呵斥慈禧说：“皇帝都要吃苦，你又有什么资格要这要那？”这种话很伤人，慈禧由此怀恨在心，而肃顺却并不以为意。
到了热河后，生活条件远不能和北京的皇宫相比，作为行宫大总管的肃顺，对后宫的生活照顾不周，“供应极薄”，包括慈安和慈禧在内的后妃们对肃顺都颇为怨恨。更气人的是，慈禧有一次向咸丰提议将“看席”撤去（皇帝用餐，只看不吃的一桌宴席谓之为“看席”），以缩减开支，但这个合理建议遭到肃顺的反对，理由是非常时期更要保持皇帝的尊严并显示政治的稳定，撤去“看席”容易引起外人的猜疑惶骇，引起局势的动荡。联想起宫内的待遇和之前的恩怨，慈禧岂能不怒火中烧？