1940年6月10日至1945年5月期间，驻扎在布拉格的盖世太保曾将小要塞用作监狱。当时小要塞是波希米亚和摩拉维亚保护国境内最大的一座监狱。与位于泰雷津、关押犹太人的特雷西恩施塔特隔都隔都不同的是，小要塞关押的都是纳粹德国的政治犯、波西米亚和摩拉维亚保护国抵抗运动成员、英国战俘以及来自苏联、南斯拉夫、法国、意大利等国的人。在监狱受盖世太保管辖期间，共有约32000人（包括5000名女性）曾被关押在这里。

1943年起，德方开始在小要塞监狱执行特殊处理，即大规模处决犯人。共有逾250人在这里被处死，最后一场处决发生在1945年5月2日，有51人被杀。