1928年，南京國民政府接管原由北洋政府掌控的北京清華學校，並將其改制為「國立清華大學」，指派羅家倫擔任首任校長。上任後，他即大力推動學校組織與學制改革，延攬蔣廷黻、馮友蘭、張奚若、蕭公權、張子高等知名學者擔任教授，提升學術水準。同時，他積極推動清華大學回歸教育部管轄，擺脫外部政治影響，使學校更具自主性。

在教育理念上，羅家倫倡導性別平權，促使清華大學開始招收女性學生，為中國高等教育的平等發展邁出重要一步。此外，他在1929年查出美國退還之庚子賠款所設立的「清華基金」帳目管理存在問題，隨即提報董事會並推動財務改革。最終，清華大學董事會解散，學校正式回歸教育部管轄，而清華基金則改由中華教育文化基金會（中基會）管理，直至今日仍持續支援清華的發展。

然而，由於教育理念與政府政策的分歧，加上行政上的挑戰，羅家倫於1930年辭去校長職位，結束了他在清華的改革之路。儘管如此，他所奠定的學術基礎與改革方針，對清華的發展產生深遠影響。

1932年，羅家倫接掌國立中央大學，開啟該校發展的「黃金十年」。當時，中央大學位於南京，是全國最高學府之一，與北京大學並駕齊驅。他提出「誠樸雄偉」作為校訓，為今日中央大學校訓「誠樸」的起源。與清華時期相似，他延攬多位學術名家進入校園執教，並積極規劃新校區，以擴大學校規模，進一步提升學術地位。

然而，1937年中日戰爭爆發，新校區的建設計畫被迫中斷。為確保學校能持續運作，羅家倫果斷決策，將中央大學師生、圖書館藏與科研設備西遷至重慶沙坪壩，避開日軍的戰火。這一決策將學校的損失降至最低，使中央大學在戰時仍能維持正常運作。

1941年，羅家倫離開中央大學校長職位。國共內戰後，中央大學自南京輾轉在臺復校。1962年復校初期，成立「國立中央大學地球物理研究所」，1968年遷址恢復大學部並改名為「國立中央大學理學院」。1979年正式復名為「國立中央大學」。羅家倫在他擔任校長時期所建立的根基，對中央大學後續的發展與學術傳承具有重要意義。