Jerry Wolkoff, ein Bauunternehmer, kaufte das Gebäude in den frühen 1970er Jahren. Ursprünglich hatte er vor, das Gebäude zu entwickeln, vermietete die Flächen aber stattdessen an Unternehmen. In den 1990er Jahren begann Wolkoff, die Räume als Künstlerateliers zu vermieten. Die Außenfassade des Gebäudes wurde mit Street Art bedeckt, und das Gebäude wurde durch die Kunst an seinen Wänden weltweit bekannt. Das ursprünglich als Fun Factory bekannte Gebäude wurde 2002 in 5 Pointz“ umbenannt, nachdem Wolkoff den Graffitikünstler Jonathan Cohen mit der Gestaltung der Außenwandmalereien beauftragt hatte. Der neue Name steht für das Zusammentreffen der fünf Stadtbezirke von New York City. Die Wandmalereien wurden hauptsächlich an den Außenwänden des Gebäudes ausgestellt, während im Inneren etwa 200 Künstlerateliers eingerichtet wurden.