Nổi tiếng với tính cách không chấp nhận sự thỏa hiệp và là một người yêu nước nóng tính, người thích cưỡi ngựa trong các quảng trường trung tâm thành phố.
Hình ảnh của Olbrychski với tư cách là một người SS đã được trưng bày trong triển lãm nghệ thuật đương đại. Ngay sau khi biết điều này, ông đã dùng một kiếm và cùng với đoàn phóng viên truyền hình, ông đã chặt đổ bức chân dung của mình, kết thúc sự tồn tại của nó.
Người cha của Rafal Olbrychski với người vợ cũ, Monika.
Có một con trai, tên là Viktor (sinh năm 1991), với nữ diễn viên người Đức Barbara Sukowa. Con trai của ông được gọi là Viktor Longo và sống ở New York.
Có một con gái, Weronika (sinh năm 1982), với vợ thứ hai của anh, Zuzanna Lapicka.
Có một mối quan hệ kéo dài 3 năm với ca sĩ Maryla Rodowicz vào giữa thập kỷ 70.
