Оркестр создан в 1920 году при Азербайджанском государственном радиокомитете. Главным дирижером коллектива был назначен Марк Черняховский. С оркестром также выступали известные отечественные и европейские дирижеры, среди которых Евгений Мравинский, Николай Голованов, Александр Гаук, Александр Павлов-Арбенин, Самуил Столерман, Отто Клемперер, Рене Батон, Фриц Штидри, что способствовало быстрому росту мастерства коллектива, уже с первых концертов представлявшего слушателям разнообразные программы.
В 1938 году на должность главного дирижера приглашен Народный артист РСФСР, профессор Московский консерватории Николай Аносов, с деятельностью которого связан значительный творческий рост коллектива. После начала Великой Отечественной войны концерты оркестра практически прекратились. Он был воссоздан в 1944 году для проведения Декады республик Закавказья в Тбилиси, тогда же оркестру присвоено имя Узеира Гаджибекова. С 1945 по 1948 гг. оркестр возглавлял Заслуженный деятель искусств РСФСР, профессор Московской консерватории Лео Гинзбург, при котором коллектив стал одним из лучших в СССР.
С 1948 по 1984 гг., более 30 лет, во главе оркестра стоял Народный артист СССР Ниязи Тагизаде-Гаджибеков. Под его руководством были впервые исполнены многие новые произведения азербайджанских композиторов, в том числе Кара Караева, Солтана Гаджибекова и Фикрета Амирова, часть из которых была вдохновлена искусством дирижера. Большое место в репертуаре оркестра занимала русская классика – симфонии и симфонические поэмы Чайковского, Римского-Корсакова, Рахманинова, произведения европейских романтиков XIX века – Листа, Берлиоза, Дворжака, Сметаны.
В 1984 году главным дирижером оркестра назначен Рауф Абдуллаев. С приходом маэстро в Баку начался настоящий музыкальный ренессанс. В Филармонии стали звучать ранее почти не исполняемые симфонические сочинения Бетховена, Шуберта, Брамса, Брукнера, Малера, Дебюсси, Равеля, Онеггера, состоялись бакинские премьеры сочинений Респиги, Хиндемита, Стравинского, Шёнберга, Веберна, Берга, Церхи, Мессиана, Буссотти, Берио, Лютославского, Лигети, Шнитке, Денисова, Губайдулиной, Саариахо, Ф. Караева, Тарнопольского. Постоянно исполнялись новые сочинения азербайджанских композиторов. Оркестр принимал активное участие в Фестивале «Музыка ХХ века» и Международном фестивале современной музыки, носящих имя Кара Караева. Одновременно активно развивалась концертная и гастрольная деятельность ансамбля солистов оркестра. Под руководством Рауфа Абдуллаева оркестр и ансамбль солистов с успехом выступали за рубежом – в США, Германии, Швейцарии, Франции, Великобритании, Италии, Турции, Египте, ОАЭ.
5 ноября 2016 года впервые за многие годы оркестр выступил в Москве в рамках Пятого фестиваля «Другое пространство». Под управлением Фуада Ибрагимова были исполнены Симфония Берио и Серенада «1791» Фараджа Караева; в исполнении «Групп» Штокхаузена участвовали также Госоркестр России, ансамбль Questa Musica, дирижеры Владимир Юровский и Филипп Чижевский.
