初入仕途
卢谌清敏有才思，好老庄之学，文章写得很好。晋武帝选中他，准备让荥阳公主下嫁卢谌，拜为驸马都尉。还没来得及举办正式的婚礼，荥阳公主就死了。后来，州里举荐他为秀才，辟征为太尉掾。
率义归琨
永嘉五年（311），西晋京城洛阳被汉赵军攻陷。卢谌随父卢志逃离洛阳，前往北方投靠姨父并州刺史刘琨。他们走到阳邑时被汉赵刘粲抓获，将他及其家眷送往汉赵都城平阳。次年，刘粲趁刘琨外出收兵之际，攻占并州治所晋阳，刘粲以卢谌为参军留守晋阳。不久，刘琨在拓跋猗卢的军事协下夺回晋阳，刘粲败走，卢谌乘机出逃投奔移治阳曲的刘琨。卢谌一走，致使先前被扣留在平阳的卢谌父母、兄弟都惨遭到汉主刘聪的杀害。
建兴三年（315），刘琨升任司空，以卢谌为主簿，后转从事中郎。由于刘琨是卢谌的姨父，刘琨对他非常喜爱，也重视培养他的才干。
走依匹磾
建兴四年（316），并州丢失，卢谌随刘琨前往蓟城，投靠鲜卑段部左贤王、幽州刺史段匹磾。匹磾与刘琨结拜（其实两人貌合而神离），又任用卢谌为幽州别驾。太兴元年（318），段匹磾以刘琨私通段末波为由，将其软禁在蓟城。刘琨自知已无生望，于是作《答卢谌》来诗激励卢谌，卢谌以《答刘琨诗》作答。然而卢谌并未体悟他的诗意，答诗只以普通之词酬和，于是刘琨又作《重赠卢谌》（此诗“托意非常，掳畅幽愤”）赠卢谌。五月，刘琨在蓟城被段匹磾杀害。
寄命辽西
刘琨被害，致使原依附段匹磾士人寒心，纷纷弃段匹磾而去。由于当时前往南方到建康的道理阻绝，卢谌便与他的姑表兄弟崔悦等晋人率领刘琨余众向西前往辽西令支，投奔段末波，在那里奉刘琨之子广武世子刘群为主帅。由于朝廷一直没有为刘琨吊祭，到了321年段末波正式与东晋通使，卢谌、崔悦等刘琨旧僚于是上表为刘琨申诉冤情，托请前往建康的使者捎带表文递呈给朝廷。朝廷看到表文之内容论事真切、情意慷慨，于是同意为刘琨举哀，并赠官、加谥号。东晋又多次通过使者征召卢谌、崔悦等返回建康，但段末波爱惜人才，便以种种借口留住卢谌不肯放人，使他无法南下建康。末波死，其弟段牙继立，后段辽杀段牙继立。
流入后赵
咸康四年（338），后赵与慕容皝联手攻灭段国，段辽出逃。刘群、卢谌、崔悦封上府库，遣使降于后赵。卢谌在辽西漂泊流离将近二十年。之后，入仕后赵，先后任中书侍郎、国子祭酒和侍中等职。
永和五年（349），后赵皇帝石虎去世，诸子争位，国内大乱。同年石鉴即位，任命卢谌为中书监。
在石赵，卢谌等人虽官位显贵，却常常觉得在伪朝终归有辱名声。卢谌每每对他的儿子们说：“吾身没之后，但称晋司空从事中郎尔。”
襄国被杀
永和六年（350），冉闵杀石鉴建立冉魏。卢谌在冉魏官拜中书监。十一月，冉闵帅十万骑兵攻襄国石祗，命其子太原王冉胤为大单于、骠骑大将军，将一千降胡配在他的麾下。韦謏劝谏冉闵诛杀降胡，以免生变。冉闵不听反而将其杀死。永和七年（351）二月，冉闵围襄国百余日而不能攻克，石祗则向燕王慕容儁、姚弋仲求救。
同年三月，姚襄、石琨援军汇集来到襄国，冉闵偏信道士法饶进的话，发起进攻，结果被石祗联军打得大败，狼狈逃回邺城。而留邺守备的降胡栗特康等趁机拘捕冉胤、左仆射刘琦、司空石璞、尚书令徐机、车骑胡睦、侍中李琳、中书监卢谌、少府王郁、尚书刘钦、刘休等十余万将士，押到襄国后被全部杀掉（经此大难，中原士人悉数殆尽）。卢谌流离大半生，死时六十七岁。