以色列爱乐乐团的建立首先要归功于胡伯曼这位对音乐有着崇高理念的世界著名的小提琴家，他一直认为:“艺术不仅仅是个人的活动，更是将个人与大众的心灵、情绪的总和、思想、期待甚至是失望，全部连结起来的表达。自从建立之日起，以色列爱乐乐团就开设了专门为年轻人而举办的系列音乐会，以一些轻松的古典音乐作品来向青少年展示音乐世界的优美和迷人。
以色列建国初期，著名波兰犹太人小提琴大师布罗尼斯拉夫·胡伯曼组建了后来成为以色列最重要的音乐团体。胡伯曼花了近三年时间劝说东欧和德国交响乐团的犹太裔首席音乐家们移居巴勒斯坦，这些人因纳粹而丢掉了工作。
1936年12月26日，在传奇人物阿尔图罗·托斯卡尼尼的指挥下，这支在当时叫做巴勒斯坦爱乐乐团的乐队进行了首场演出。随着1948年以色列赢得独立，这支乐团正式更名为以色列爱乐乐团（IPO），评论家们赞其为“独奏家组成的交响乐团”。
以色列爱乐乐团的建立首先要归功于胡伯曼这位对音乐有着崇高理念的世界著名的小提琴家，他一直认为:“艺术不仅仅是个人的活动，更是将个人与大众的心灵、情绪的总和、思想、期待甚至是失望，全部连结起来的表达。因此，艺术得在追求的气氛下与环境里，表达共同的生命，尤其是音乐，得经由演出与聆听而实现。”
在这种理念的支持下，他全身心地投入以色列爱乐乐团初创时期的各项工作中并克服种种困难，终于在1936年12月26日举办了乐团建立后的第一场音乐会。在得到胡伯曼的邀请之后,为人正直的托斯卡尼尼没有片刻蹉跎便欣然接受,担任了乐团首场音乐会的指挥.首场音乐会在托斯卡尼尼的指挥下获得了巨大的成功,这与每一位演奏家的高超技艺也有直接的因果关系。
自成立之初,乐团就得到了“由独奏家组成的交响乐团”的美称。托斯卡尼尼显然也对此非常满意，于第二年再度前来指挥了乐团的演出。在第一年的音乐会演出中，斯坦伯格担任了主要的指挥工作，1938年，他在托斯卡尼尼的邀请下前往美国，成为这位大师在新成立的NBC交响乐团中的助手。
在此之后，乐团一直没有一位常任指挥，而是由不同的的客席指挥指导演出。乐团从1946年改称巴勒斯坦爱乐乐团，1948年，以色列宣布独立，乐团也随之改名为以色列爱乐乐团。从1958年到1960年，让.马蒂农担任过乐团最早的的音乐指导。在此前的时期里，一大批杰出的指挥家都曾经与这个乐团有过合作，其中有库谢维茨基、蒙什、米特罗普洛斯、奥曼迪和索尔蒂等人，他们的到来使乐团的合奏水平在短期内迅速得以提高。
在1948年到1949年的演出季中，伦纳德.伯恩斯坦担任了以色列爱乐乐团的音乐顾问，从此，他就一直与这个团保持着密切的合作关系。1957年，当乐团新的演奏大厅弗里德里克曼大会堂落成时，伯恩斯坦指挥了盛大的揭幕音乐会。1986年，以色列爱乐乐团授予68岁的伯恩斯坦“桂冠指挥”的荣誉称号，以表彰他对乐团的发展所做出的突出贡献。
祖宾.梅塔与以色列爱乐乐团之间的渊源始自1962年，在这一年，他第一次指挥了这个乐团便与之建立了特殊的联系。随着与这个乐团演出的不断增多，1966年他率领这个乐团进行巡回演出，而在随后的以色列与阿拉伯国家之间的战争爆发后，他又返回这个国家，指挥了特别音乐会。
1969年，梅塔被任命为乐团的音乐顾问，1977年成为它的音乐指导，而在两年之后他成为纽约爱乐乐团的首席指挥，于是，梅塔频繁穿梭往返于纽约和特拉维夫之间。1981年，以色列爱乐乐团授予他终生指挥的职务。可以说，梅塔是对于这个乐团产生了最大影响的一位指挥，他使乐团达到了洗练、精巧的合奏水准，特别是其明亮柔和的弦乐声部具有一种类似于天鹅绒般的特质，可以与当今世界上任何一支一流乐团相比而毫不逊色。
在梅塔的指挥下，以色列爱乐乐团的演出曲目的当代作品越来越多，其中也包括许多以色列当代作曲家的代表作。保罗.本海姆反映战争的暴力和人类苦难的第一交响曲是在1940年专门为当时的巴勒斯坦交响乐团创作的，直至今日，它仍然是以色列爱乐乐团的保留曲目，特别是交响曲的第二乐章《诗篇》则更是乐团在国外旅行演出时最能打动人心的作品之一。
自从建立之日起，以色列爱乐乐团就开设了专门为年轻人而举办的系列音乐会，以一些轻松的古典音乐作品来向青少年展示音乐世界的优美和迷人。1959年,乐团还在特拉维夫开始介绍经典的歌剧曲目，第一部上演的作品是朱利尼指挥的《福斯塔夫》。也是在这一年，由乐团成员构成的新以色列四重奏团问世，并且成为以色列音乐生活中的一个重要的组成部分。在60年代末期，乐团开始举办鲁宾斯坦音乐节，以此来吸引世界各地的优秀音乐家的参与。
1976年，在以色列爱乐乐团庆祝其成立40周年时，这个乐团就已经拥有110位成员，每个音乐季的演出曲目为12套。现在，乐团演出季售票达3万多张，无论根据什么样的标准，这都是一个非同寻常的数字，如果考虑到这个国家的人口较少的因素，这个数字就更加难能可贵了。目前，以色列爱乐乐团每年还在国内各城举行义演，场次高达150场之多。
从80年代末期开始，又一次来自前苏联地区诸国的犹太居民涌向以色列，以色列爱乐乐团的人员也从而得到了充实。由于这些移民音乐家中以弦乐演奏者居多的缘故，给乐团的小提琴声部带来了更大的变化。在增加了新鲜力量后，乐团的表演水平也发生了较大的飞跃。然而尽管多年来吸收了大量移民，目前以色列爱乐乐团的成员中仍有一半以上出生于以色列本土，并且大都在国内接受过音乐教育和培训。乐团在培养年轻音乐家方面一直不遗余力，由它所资助的以色列爱乐青年乐团也是活跃在特拉维夫的一支具有相当水准的交响乐团。
