Beslutet att bygga saluhallen togs år 1887, och den uppfördes 1888–1889 av A Krüger efter ritningar av arkitekten Hens Hedlund.

Kostnaden uppgick ursprungligen till 250 000 kronor, ett belopp som ökades med 60 000 kronor i december samma år. Strax efter att byggnaden stod klar påbörjades en uthyrningsauktion för de handlare som ville ha en plats i den nya saluhallen. Intresset var enormt för att bjuda på en av de 92 bodarna. Stora Saluhallen slutbesiktigades den 15 januari 1889, och försäljningen av livsmedel startade den 1 februari samma år.

Kungstorget har varit stadens marknadsplats för kött, smör, ost och mjöl sedan 1848. Innan dess var det Stora Torget, som numera heter Gustav Adolfs torg, som var utsedd som marknadsplats.

I december 2009 påbörjades den första etappen av saluhallens renovering. Andra etappen blev påbörjad i februari 2012, och blev klar innan december 2012. Renoveringen har även blivit kulturhistoriskt intressant då man i de olika rivningsarbetena har fått fram gamla skyltar och text från en svunnen tid.

Byggnaden är en av få konstruktioner i sitt slag i Sverige. Varje år strömmar drygt två miljoner människor genom byggnaden.

I början av december 2020 öppnade Restaurang Kajutan på övre plan. Lokalen är unik med stort ljusinsläpp och en fantastisk utsikt över resten av hallen.

Restaurang Kajutan drivs av krögarna Peter Cornelius och Lillemor Thomsén och flyttar in på Stora Saluhallen från Feskekörkan på Rosenlund där verksamheten bedrivits i samma regi de senaste 14 åren.