Il palazzo sorse in una parte del Giardino Quadrato, isolato e circondato completamente da viali, in un luogo ritenuto idoneo grazie all'ottima presenza della luce in grado di valorizzare il valore estetico delle opere. Prima della pinacoteca le opere venivano spesso spostate tra i vari palazzi apostolici poiché non avevano una fissa sede, quindi la sua costruzione servì anche a risolvere la questione. Pio VI riuscì a creare una prestigiosa raccolta di 118 dipinti intorno al 1790, ma essa ebbe vita breve poiché, in seguito al Trattato di Tolentino stipulato nel 1797, alcuni dei maggiori capolavori furono trasferiti a Parigi. La moderna pinacoteca, intesa come esposizione aperta al pubblico, nacque solo dopo la caduta di Napoleone, precisamente nel 1817, cui seguì la restituzione di alcune opere secondo le direttive del Congresso di Vienna.

Grazie a numerosissime donazioni e acquisizioni la collezione continuò a crescere nel corso degli anni arrivando all'attuale numero di circa 460 dipinti, esposti nelle diciotto sale secondo un ordine cronologico. Le opere vanno da quelle definite "Primitive" (XII-XIII secolo) a quelle del XIX secolo.

La collezione di dipinti può vantare capolavori di alcuni dei maggiori artisti italiani, come Giotto, Raffaello, Leonardo, Caravaggio e tanti altri.