Pomnik wzniesiono na 19 tys. m2 w centrum, między Bramą Brandenburską a Placem Poczdamskim, blisko miejsca, gdzie stała kancelaria Hitlera. Pod ziemią został ulokowany ośrodek informacji.

W zamyśle twórcy, Amerykanina Petera Eisenmana, wejście między betonowe bloki ma budzić zagubienie i grozę. Pomnik jest dostępny całą dobę wraz z podziemnym ośrodkiem informacyjnym. Betonowe płyty są pokryte specjalnym tworzywem, by było łatwo zmyć ewentualne graffiti.

Integralną częścią pomnika jest ulokowany pod ziemią ośrodek informacji. Jego zadaniem jest przekazanie osobom odwiedzającym to miejsce wiedzy historycznej o holokauście oraz ukazanie indywidualnych losów ofiar.
Propozycja budowy pomnika wyszła w 1988 r. od grupy zachodnioniemieckich intelektualistów skupionych wokół dziennikarki Lei Rosh oraz historyka Eberharda Jaeckela.
Na pierwszy konkurs w 1995 r. nadeszło 528 projektów. Zwycięski projekt, ogromną kamienną płytę nagrobną, na której miano wyryć nazwiska zamordowanych, odrzucił ówczesny kanclerz Helmut Kohl. W cztery lata później Bundestag zdecydował o realizacji projektu Eisenmana.