耶律乌不吕有膂力,善于诗文。统和年间,攻打北宋,他被任以军事。他和爻直不和,出言侮辱道“尔奴才,何所知”。爻直告知北院枢密使韩德让。韩德让问耶律乌不吕:“尔安得此奴”。耶律乌不吕回答“三父异籍时亦易得”。韩德让笑着放过了耶律乌不吕。后来在萧恒德属下讨蒲卢毛朵部,因功为东路统军都监。韩德让为大丞相,韩德让向睿智太后萧绰推荐耶律乌不吕为统军使。太后任命耶律乌不吕为统军使,加金紫崇禄大夫、检校太尉之位。弟弟耶律国留获罪,耶律乌不吕和母亲都被下狱。耶律乌不吕害怕罪祸及母,派人召回耶律国留。耶律国留回来后被处死,耶律乌不吕回归乡里,病卒。其兄耶律学古,弟弟耶律国留、耶律资忠、耶律昭。