Do širšího povědomí se dostal v roce 1991, kdy se ujal vedení nově zřízeného úřadu Spolkového zmocněnce pro dokumenty ministerstva státní bezpečnosti bývalé NDR. Tato instituce byla první svého druhu v bývalém sovětském bloku s stala se symbolem vůle zúčtovat s komunistickou minulostí. V čele úřadu stál Gauck po dvě funkční období, tedy po maximální dobu, kterou příslušný zákon dovoluje. Za tu dobu si získal vysoký morální kredit, který mu později pomohl ke zvolení prezidentem.
