房遗直，房玄龄的嫡长子。嗣父亲梁国公的爵位，永徽初年，为礼部尚书、汴州刺史。弟弟房遗爱，娶唐太宗女高阳公主，拜为驸马都尉，官至太府卿、散骑常侍。公主骄横，密谋废黜房遗直而夺其封爵，永徽年间，诬告房遗直对她无礼。唐高宗令长孙无忌审理此事，查出了高阳公主与房遗爱谋反的情况。房遗爱伏诛，高阳公主赐自尽，诸子流放到岭表。房遗直以父亲的功劳特赦，除名为庶人。停止房玄龄的配享。在历史中未提及他曾有妻子或者侍妾。