Po zakończeniu drugiej wojny światowej mieszkał w Belgii i właśnie tam rozwijał swoje literacko-teatralne skrzydła. W Polsce przez długi czas był niedoceniany i krytykowany za własną krytykę wobec polskich mitów narodowych. Od zawsze inspiracją dla artysty była kultura plebejska: staropolska obscenika, sowizdrzalska kpina, makabra i barokowa fantastyka. Za swojego mistrza uważał Rabelais′a.

- W 1946 r. dwaj dominikanie zajęli się kolonią polską w Belgii. Zaprosili studentów w góry francuskie. Większość to była młodzież z Powstania Warszawskiego, była wśród nich moja przyszła żona. Pamiętam spacery, rozmowy i ich śpiewy powstańcze. To ich scalało w jakąś wspólnotę, rodzinę. Czułem, że wśród tych ludzi dla mnie - po kacecie - miejsca nie było. Ja w "Z Auszwicu do Belsen" cytuję śpiewy, których w obozie nauczyli nas kryminaliści niemieccy, bandyci. Giedroyc powiedział: "Panie Marianie, nasze książki docierają do klasztorów, do bibliotek parafialnych. My nie możemy pana Matugi posłać w takie miejsca, to znaczy nie możemy wydać". Chodziło oczywiście o erotykę, skatologię. To samo było długo w Polsce. Posłałem Iwaszkiewiczowi. On: "Kochanie, takie słowa? U nas takie sprawy?". A Jan Kott: "Proszę pana, pan pisze wbrew nurtowi literatury" – wspomina Pankowski, podczas wywiadu z Katarzyną Bielas.

Jego życie nie należało do łatwych. Aresztowany przez gestapo, odsiedział trzyletni wyrok w obozie koncetracyjnym, ale jak sam wspominał: „Jestem kłopotliwym byłym więźniem. Nie nadaję się na obchody w Auschwitz. To są sprawy złożone, mało wymierne, tak jak życie w Polsce Ludowej. Uważam, że jeśli ktoś przeżył obóz, to tylko dzięki wyjątkowo sprzyjającym warunkom. Aby przeżyć, nie trzeba było się sprzedawać, wystarczyło otrzymywać drugą miskę zupy. Ja dostawałem od kolegi mojego brata. Leczył zęby esesmanom, więc jadł ich obiady.”

Zdebiutował we lwowskich „Sygnałach”. Jego książki są odwierciedleniem kontrowesyjnego geniuszu. Sprzeciwiał się polskiemu katolicyzmowi, jako przestarzałej instytucji o konserwatywnym i nie zmieniającym się obliczu.

Do jego największych dzieł należą: „Teatrowanie nad świętym barszczem”, „Nasz Julo czerwony” i „Zygmunt August” (dramaty) oraz „Pieśni pompejańskie”, „Smagła swoboda”, „Kozak i inne opowieści”, „Była Żydówka, nie ma Żydówki”, „Putto”, „W stronę miłości”.