Сергей Нарышкин женат, имеет сына и дочь.
Супруга Татьяна Сергеевна – специалист в области информационных технологий. До 2004 года работала на кафедре «Информационные системы и компьютерные технологии» Балтийского Государственного технического университета «Военмех».
Сын Андрей работает в ЗАО «Энергопроект», заместителем генерального директора.
Дочь Вероника окончила Академию народного хозяйства, мастер спорта, работает в Всероссийской федерации плавания.
Свободное время Сергей Нарышкин любит проводить с семьей, стараясь уделить больше времени и внимания любимым внучкам Наташе и Ане.
Увлекается историей России и ее культурой. Заядлый театрал. В студенческие годы не пропускал практически ни одной премьеры ведущих театров Ленинграда, где тогда жил и учился. Сегодня старается следить за новыми и самыми заметными постановками столичных театров.
Поклонник джазовой музыки. Любит бардовскую песню – почитатель творчества Юрия Визбора, Владимира Высоцкого, Булата Окуджавы.
Отдыхать предпочитает на природе.
Занимается спортом - горными лыжами и плаванием. Является Председателем Высшего наблюдательного совета Всероссийской федерации плавания, а также Председателем Попечительского совета Континентальной Хоккейной Лиги (КХЛ).