A könyvtár egyidős a múzeummal, és a kezdetektől tervszerűen gyűjti a művészettörténet hazai és nemzetközi szakirodalmát. Értelemszerűen előnyt élveznek azok a területek, amelyek kapcsolódnak a múzeum gyűjteményeihez: az európai festészet, szobrászat és grafika története, az ókortudomány, az egyiptológia. A könyvtárban népszerűsítő munkák éppúgy megtalálhatók, mint alapvető kézikönyvek és a legújabb tudományos szakmunkák szerte a nagyvilágból. Negyedmilliós állományával a könyvtár nemzetközi összehasonlításban is nagynak számít, Magyarországon pedig gyűjtőkörében a legteljesebb.
Amikor a magyar állam 1871-ben megvásárolta az Esterházy-gyűjteményt – amelyből az Országos Képtár, majd utóbb a Szépművészeti Múzeum lett – nem csak festményekre, szobrokra és grafikákra tett szert, hanem egy kicsi, de gondosan válogatott szakkönyvtárra is. Könyvekre ugyanis már az Esterházy-gyűjtemény kezelőinek is szükségük volt, hogy meghatározhassák az egyes alkotásokat, hogy katalogizálják a gyűjteményt, és hogy el tudják mondani másoknak is, mi teszi érdekessé és értékessé azokat a tárgyakat, amelyeket őriznek. Ez a 305 kötet máig hiánytalanul megvan, és ez a magja annak a mára már kb. 2000 kötetes kollekciónak, amellyel a könyvtár 1850 előtti művészeti kiadványokból rendelkezik.
Miután az Esterházy-gyűjtemény köztulajdonba került, természetesen nem csak a műgyűjtemény gyarapodott adományokkal és vásárlásokkal, hanem a feldolgozását segíteni hivatott szakkönyvtár is. A megalakulóban lévő Szépművészeti Múzeum képviselői nem csak műkereskedőket látogattak végig szerte Európában, hanem könyvkereskedőket is. Mire a múzeum 1906-ban megnyitotta kapuit, a szakkönyvtár már 5500 kötetet számlált. Ebben a számottevő növekményben szerepet játszott az is, hogy a művészettörténet ekkortájt vált egyetemen is oktatott tudománnyá, így a 19. század legvégén ugrásszerűen megnőtt azoknak a modern értelemben is tudományosnak tekinthető publikációknak a száma, amelyek az újonnan közölt tárgy- és forrásanyag révén máig alapmunkának számítanak. Különös érdekessége ennek a korszaknak, hogy a múzeum vezetői nem mondtak le a múzeum számára megszerezhetetlen remekművekről sem: szobrok esetében 1:1 arányú plasztikai másolatot készíttettek róluk, festmények esetében pedig olyan csúcstechnológiás nagyméretű reprodukciókat vásároltak, amelyek „reálfólió” méretű (100 cm körüli) kötetei és mappái a könyvtár látványos, bár sérülékeny kuriózumai.
Mivel a Szépművészeti Múzeum a maga túlnyomórészt külföldi képzőművészeti anyagával egyedülálló az országban, a múzeum számára mindig nagyon fontos volt a könyvtára, hisz jó esély volt rá, hogy ami itt nincs meg, azért legalább Bécsig vagy Münchenig kell utazni. Ezért a múzeum az elmúlt száz évben igyekezett mindent megtenni annak érdekében, hogy a könyvtár továbbra is lehetővé tegye a múzeumi gyűjtemény és az európai képzőművészet itthoni kutatását. Az állomány gyarapodását az idővonal szemlélteti. És bár a könyvtár elsődleges feladata mindig is az volt, hogy a múzeumi munkát segítse, olvasóterme mindig nyitva állt az érdeklődők előtt, már jóval azelőtt is, hogy 2006-ban hivatalosan is nyilvános könyvtárrá vált.
