栖筠有功被加兼为御史大夫。

元载为相日久，日渐骄横，代宗不能忍受，暗中引用刚直的大臣来帮助自己，企图收回大权，并除去元载。正逢御史大夫敬括去世，代宗立刻召李栖筠与河南尹张延赏入朝，挑选一人接任御史大夫，因张延赏先到，于是被任命为御史大夫。但在之后发生的朝臣李少良、陆珽等弹劾元载事件中，张延赏称病在家，不敢对抗元载，致使李少良、陆珽被定罪处死。事后，代宗大感失望，遂外调张延赏为淮南节度使，拜李栖筠入朝为御史大夫。

李栖筠初见代宗时，陈述明辨，没有阿谀之词，受到代宗由内而发的喜爱，于是被中旨制麻，直接任命为御史大夫，举朝都不知这一任命，内外群臣为之震惊。李栖筠为人刚直，不屈服于权势，华原县尉侯莫陈怤因考绩优等被补授为长安县尉，按例前往御史台拜谒，被李栖筠询问起劳绩，侯莫陈怤神色不安，无法应对，于是自称通过朝臣徐浩、杜济、薛邕升官，并非真的考绩优等。李栖筠于是上奏弹劾侯莫陈怤，连带揭露徐浩、杜济、薛邕三人的劣迹，代宗得到奏疏，不能决断。恰逢出现月蚀，代宗询问原因，李栖筠答道：“‘月蚀修刑’，如今欺上谋私者未得之罪，上天似乎是以此来警戒陛下吧？”侯莫陈怤等由此才被惩治。

按照旧例，皇帝在曲江亭宴赐百官，命教坊乐妓及戏谑之人错杂陪侍，李栖筠认为自己身任国家风宪之责，便独自不赴宴，自此之后，御史台将此举定为规制。

代宗经常想召李栖筠入朝为相，因忌惮元载而往往作罢，但每有对朝臣的除授，都暗中询问他的意见，对朝政多有补益。李栖筠眼见代宗犹疑不决，心中也忧愤不已，病逝，享年五十八岁，临终前，李栖筠自撰了墓志铭，代宗闻讯，追赠他为吏部尚书，赐谥号“文献”。

李栖筠喜欢奖励善行，并不介意他人攻击自己的短处，为天下士人所推重，人们不敢直呼他的名讳，尊称其为“赞皇公”。

史事讲将2隋唐五代