医院前身为1928年建立的兰州中山医院，1932年成为甘肃学院医学专修科的教学医院，是甘肃省最早建立的公立医院。1946年更名为“国立兰州大学附设医院”，1948年更名为“兰州大学医学院附设医院”，1954年从兰州大学分出独立建院，更名为“兰州医学院附设医院”，1959年成立“兰州医学院第二附属医院”，2004年随兰州医学院整体并入兰州大学，更名为“兰州大学第二医院”。