Сергей Нарышкин женат, имеет сына и дочь. 

Супруга  Татьяна Сергеевна – специалист в области информационных технологий. До 2004 года работала на кафедре «Информационные системы и компьютерные технологии» Балтийского Государственного технического университета «Военмех».

Сын Андрей работает в ЗАО «Энергопроект», заместителем генерального директора.

Дочь Вероника окончила Академию народного хозяйства, мастер спорта, работает в Всероссийской федерации плавания.

Свободное время Сергей Нарышкин любит проводить с семьей, стараясь уделить больше времени и внимания любимым внучкам Наташе и Ане.

Увлекается историей России и ее культурой. Заядлый театрал. В студенческие годы не пропускал практически ни одной премьеры ведущих театров Ленинграда, где тогда жил и учился. Сегодня старается следить за новыми и самыми заметными постановками столичных театров.

Поклонник джазовой музыки. Любит бардовскую песню – почитатель творчества Юрия Визбора, Владимира Высоцкого, Булата Окуджавы.

Отдыхать предпочитает на природе.

Занимается спортом - горными лыжами и плаванием. Является Председателем Высшего наблюдательного совета Всероссийской федерации плавания, а также Председателем Попечительского совета Континентальной Хоккейной Лиги (КХЛ).