Дитинство майбутнього «злодія в законі» пройшло в одному двоповерхових будинків на вулиці Алавердян в центрі Єревана, куди сім'я Багдасаряном переїхала з околиць вірменського міста Октемберян за рік до народження Рафаеля.
Як і багатьох підлітків військових років Рафа виховала вулиця, де він ще в юному віці познайомився з єреванським авторитетом на ім'я Жожо.
Перший раз зробивши крадіжку, Рафаель Багдасарян переступив закон в одинадцять років. З шостого класу він залишив школу, а незабаром перебрався до Москви.
Як зазначає в одній зі своїх книг автор трилогії про Сво Рафі Сергій Галоян, всього у вірменського «злодія в законі» було 15 судимостей загальним тюремним стажем в 34 роки, які він відсидів повністю.
Лагерна і тюремна біографія Сво Рафа відзначена позначками про систематичні порушення режиму, відмову від роботи, спробах втечі і, що особливо цінувалося в радянській злодійському середовищі, він жодного разу не дав жодного свідчення і навіть не підписав жодного протоколу.
За наявними даними, Сво Рафа посвятили в «злодія в законі» в 1972 році, але згідно з його біографу, пік впливу Рафа в кримінальному світі припав на 80-ті роки XX століття.
Сво Раф вважався одним з найвпливовіших представників кримінального світу всього СРСР, але за вірменським «злодієм в законі» полювали і Інтерпол, і правоохоронці США, Німеччини та країн Бенілюксу.
Про Сво Рафі розказано багато реальних історій і відміну безліч легенд, але суть їх в цілому зводиться до того, що ця людина мав незаперечний авторитет і заслужив повагу не тільки в кримінальному світі, але і далеко за його межами.
Вірменський Хрещений батько, як часто називали Сво Рафа, в останній раз був арештований в своєму номері готелю «Мінськ» в Москві 23 грудня 1992 року. До пред'явлення звинувачень він був поміщений в Лефортовський слідчий ізолятор, а через кілька місяців перевезено в одну з московських лікарень, де 23 червня 1993 помер. Обставини смерті одного з найавторитетніших «злодіїв» Радянського Союзу до кінця невідомі.
Похорон Сво Рафа стали частиною історії Єревана. У столиці Вірменії, що знаходиться в той час в енергетичній блокаді, де електрика включали лише на пару годин на добу, протягом трьох днів прощання зі Сво Рафом було забезпечено цілодобове електропостачання. Попрощатися з Рафом приїхали навіть "колеги" з Баку, а всього аеропорт Єревана в ці дні прийняв 17 чартерних рейсів. За деякими даними, в похоронах брало участь близько 200 тисяч осіб з різних країн світу.