在唐高宗即位后房遗爱被贬到了房州担任刺史，夫妻二人皆愤愤不平。于是密谋联合一直与唐高宗不和的薛万彻，柴令武，打算发动政变，但是事情安排布置不机密，计划还未施展便暴露出去了。唐高宗派长孙无忌审理，长孙无忌借此机会，将吴万李恪也牵扯进去了。审理下来的结果是，与这件事相关的一切人等皆被赐死，包括高阳公主。这就是历史上著名的“房遗爱谋反案”。

据闻，韩国南阳房氏大宗会向中国展示了他们的家谱，称他们的家族是房遗爱的后人。据闻，在贞观年间，唐太宗派个重臣之子组成“八学士”团去朝鲜进行文化交流，其中就有房遗爱的儿子。