Илья Сегалович родился 13 сентября 1964 года в городе Нижний Новгород. В связи с работой родителей, геологами, большую часть детства провел в Алма-Ате. После школы поступил в Московский геологоразведочный институт на геофизический факультет, который окончил в 1986 году и несколько лет работал в Институте минерального сырья, где занимался написанием геофизических программ на языке программирования «фортран».
В конце 1980-х годов Илья пришел работать в компьютерную фирму его давнего друга и одноклассника Аркадия Воложа. Вскоре совместно основали компанию «CompTek», создали Международный классификатор изобретений и поиск по Библии, которые учитывали морфологию русского языка. Также ими разработана программа Yandex для поиска файлов на жестких дисках.
Именно на основе этих классификаторов и программы Волож и Сегалович позднее, в середине 1990 годов разработали технологию поиска неструктурированной информации в интернете с учетом русского языка, получившую название «Яndex». Данная поисковая система стала одной из наиболее популярных среди пользователей сети интернет и флагманом Рунета.
Сегалович также являлся директором по технологиям и разработке, входил в совет директоров компании. Данная компания быстро приобрела финансовый успех в российской IT-отрасли. А по версии журнала «Forbes», по состоянию на 2011 год, Сегалович занимал 159 место в рейтинге богатейших российских предпринимателей. По мнению многих специалистов программист являлся профессионалом самого высокого класса, а российская IT-отрасль обязана ему целым поколением выращенных им специалистов.
Будучи успешным бизнесменом, Илья Валентинович занимался и благотворительностью. В частности, принимал участие в деятельности реабилитационного художественного центра для сирот и детей с недостатками развития «Дети Марии», основателем и руководителем которого стала его супруга Мария Елисеева.
Осенью 2012 года у Сегаловича диагностировали рак желудка. Илья начал курс лечения, не отрываясь от рабочих дел, причем трудился полный день. Сперва прогнозы казались благополучными, поскольку организм хорошо реагировал на терапию, и болезнь не выглядела запущенной, но полгода спустя врачи обнаружили еще и опухоль головного мозга.
Сегаловича в тяжелом состоянии поместили в лондонскую клинику, но шансов на выздоровление уже не оставалось. Два дня находился на искусственном дыхании, но надежды не оправдались, и в организме произошли изменения, несовместимые с жизнью.
Илья Валентинович Сегалович умер 27 июля 2013 года в возрасте сорока восьми лет. Похороны состоялись 1 августа 2013 года на Троекуровском кладбище в Москве.
Компания «Яндекс» 30 января 2019 года объявила об учреждении ежегодной премии имени Ильи Сегаловича. Премия будет присуждаться за достижения в областях распознавания и синтеза речи, поиска и анализа данных, в машинном обучении, компьютерном зрении, обработке естественного языка и машинном переводе.