Владимир Рушайло родился 28 июля 1953 года в городе Моршанск, Тамбовская область. Рос в семье офицера радиотехнических войск, поэтому в разные годы жил по месту службы отца в Рязанской области и Москве. По окончании средней школы в 1970 году поступил в Московский станкоинструментальный институт, однако оставил учебу после первого курса в 1971 году и устроился рабочим. Затем являлся лаборантом в московском научно-исследовательском институте. С 1972 года работал в органах внутренних дел.
В 1976 году Рушайло окончил Омскую высшую школу милиции МВД СССР по специальности «правоведение». Позднее получил дополнительное образование в Академии МВД СССР.
Владимир Рушайло начинал карьеру в отделе по раскрытию квартирных краж. В 1981 году переведен в отдел по раскрытию убийств. Затем в 1986 году назначен на должность заместителя, а в 1988 году стал начальником шестого отдела по борьбе с бандитизмом и организованной преступностью. В 1992 году занял должность начальника службы по борьбе с организованной преступностью Главного управления внутренних дел Москвы. Позднее являлся начальником Регионального управления по организованной преступности - Регионального управления по борьбе с организованной преступностью по городу Москве и одновременно заместителем начальника Главного управления по борьбе с организованной преступностью МВД России.
В октябре 1996 года Владимир Борисович назначен первым заместителем начальника Главного управления по борьбе с организованной преступностью МВД России. Вскоре снят с должности и зачислен в резерв МВД приказом Министра внутренних дел. Впоследствии назначен советником по юридическим вопросам и безопасности председателя Совета Федерации Федерального Собрания Российской Федерации Е.С. Строева.
Указом Президента Российской Федерации 9 мая 1998 года Рушайло назначен заместителем Министра внутренних дел Российской Федерации - начальником Главного управления по борьбе с организованной преступностью МВД России. В 1999 году стал министром внутренних дел Российской Федерации. В этом же году включен в состав Президиума Правительства Российской Федерации и стал членом Совета Безопасности Российской Федерации.
Владимир Борисович Рушайло принимал участие в руководстве боевыми операциями федеральных войск против вооруженных бандформирований на территории Дагестана и Чечни.
«Закрытым» указом Президента Российской Федерации 27 октября 1999 года за мужество и героизм, проявленные при выполнении специального задания, генерал-полковнику Владимиру Борисовичу Рушайло присвоено звание Героя Российской Федерации.
В январе 2001 года Рушайло стал членом Оперативного штаба по управлению контртеррористическими действиями на Северном Кавказе. В марте освобожден от должности министра внутренних дел Российской Федерации и назначен секретарем Совета безопасности Российской Федерации. В 2004 году после освобожден от должности секретаря стал председателем исполкома - исполнительного секретаря СНГ. В 2007 году избран членом Совета Федерации от Архангельской области.
В 2008 году Владимир Рушайло избран президентом Института международного права и экономики имени Грибоедова. Позднее назначен на должность специального представителя Президента Российской Федерации по развитию отношений с Киргизией. Впоследствии в 2013 году занял пост вице-президента публичного акционерного общества «АК «Транснефть» по безопасности. В 2014 году указом Президента России уволен с военной службы в отставку. В феврале 2019 года вышел на пенсию.