Knižnica VSG, nazývaná Seminár odbornej literatúry, mala v štruktúre galérie významné miesto od jej vzniku v 50. rokoch. Po roku 1973 sa stala profesionálnou knižnicou s názvom Študovňa umeleckej literatúry a časopisov pri VSG.
V roku 2012 došlo z dôvodu rekonštrukcie a personálnych zmien k presťahovaniu knižnice do nevyhovujúcich priestorov, čo viedlo k jej praktickému znefunkčneniu. Od roku 2015 sa fungovanie knižnice postupne obnovovalo. V roku 2017 bolo presťahovaných vyše 12 000 knižničných jednotiek do nových priestorov knižnice v sídle galérie na Hlavnej ulici. Pod novým názvom Knižnica Východoslovenskej galérie (VSG) bola nahlásená do Zoznamu knižníc SR pod číslom 3460.
V rokoch 2018-2019 galéria intenzívne pracovala na revitalizácii knižnice, jej mobiliáru a infraštruktúry. Cieľom bola moderná knižnica, ktorá spĺňa súčasné odborné a používateľské štandardy. Po finalizácii revitalizačných prác sa dňa 26. februára 2020 uskutočnilo slávnostné otvorenie knižnice. Knižnica VSG je tak opäť otvorená verejnosti.
