巴黎国立高等音乐学院是在“国民自卫军音乐学校”的基础上发展起来的。该校由贝尔纳.萨莱特（Bernard Sarrette）创建于1795年。
法国大革命以前，音乐教育一直是在隶属于各教堂教务会的儿童唱诗训练班、音乐学校或儿童唱诗班进行的。萨莱特原本计划在巴黎建立30所初级音无法学校和15所中级音乐学校以取代儿童唱诗训练班；另外再建几所高级进修学校和一所高等大学，而且，教育完全免费。然而到最后，只有这所高等大学如愿以偿地建成了。嗣后，在外省也建有类似的大学。
巴黎国立高等音乐学院曾几度更名，“国民自卫军免费学校”(1792),"国立音乐院"（1793），“全国音乐戏剧学院”（1795），在法国王朝复辟时期，成为“皇家音乐学校”，后又重用“全国音乐戏剧学院”之名（1822），直到后来取名为“国立高等音乐学院”。该校最初设在普瓦尼埃尔区的Menus-Plaisirs 旅馆，1911年迁至马德大街14号的一所古老耶稣教中学。 学校初建伊始，萨莱特周围有五位督学：梅于尔，格雷特里，戈塞克，勒絮尔和谢吕里尼。至1796年，学校男女生人数达600人，教师人数达115人。
学校从其创办至今，历任校长有12名。萨莱特（1796--1815）力求为各学科找到一种行之有效的教育方法。他为歌唱家设立了奖学金，同时还在该校建起了图书馆。弗朗索瓦.佩尔内（1815--1822）向图书馆捐赠了吉约姆.马肖比尼（1822--1842）经努力终被获准同意在每个班招收两名外国学生，并创建了“音乐学院音乐会联合会”。达尼埃尔.奥贝尔（1842--1871）是任期最长的校长。之后是昂布鲁瓦兹.托马（1871-1896）和泰奥多尔.杜布瓦（1896-1905）.加布里埃尔.富雷（1906-1920）开设了一个对位班，从此这门学科可以在作曲班里教授。亨利.拉博（1920-1941）为第八任校长。克洛德.德尔万古（1941-1954）于1943年创创办了“音乐学院少年管弦乐团”。该团后来成为巴黎最出色的管弦乐团之一。其继任者为马塞尔.迪普雷（1954-1956）。雷蒙.卢舍尔(1956-1962)在任期间，行政管理比艺术管理更加严格。雷蒙.加卢瓦-穆布伦（1962-1983）是位小提琴家兼作曲家，他对器乐各科的教学结构作了调整。1966年，他开办了一个进修班；1969年，又办了一个古典吉他班，聘请亚历山大.拉戈亚任教；1977年，还办了一个乐器法和配器法班，聘请马里斯.康斯坦执教。此外，在舞蹈教学方面，他也进行了改革。他要求学舞蹈的学生要同时学习视唱练耳和音乐史。继他之后又有马克.布勒兹（1983-1986）和阿兰.卢维埃（1986）两位校长。自1986年起，各种事务均由阿兰.邦卡尔负责。
从学校成立之日起就开始任教并在国内外享有声誉的教师有：戈塞克，梅于尔、勒絮尔，柏辽兹，费蒂斯，克鲁采，马斯内，维多尔，吉尔芒，M.埃玛纽埃尔，H.比塞，P.杜卡斯，A.科尔托，CI.克鲁瓦兹，M.穆瓦兹，A.布律诺，M.迪普雷，罗兰-曼努埃尔，Ch.图尔内米尔，M.博菲斯，L.马夏尔，N.杜富尔克，L.拉斯基纳，O.梅西安等。世界著名的钢琴演奏家理查德·克莱德曼，就是出自此校。
