Cụ tổ của Phạm Quỳnh là Cử nhân Dưỡng Am Phạm Hội (1791-1854). Cụ có hai đời vợ và một bà thiếp. Nhưng đến năm bốn mươi tuổi mới sinh được một trai là ông Khiêm Trai Phạm Ngạch. Ba mươi hai tuổi, ông Ngạch đỗ tú tài, có hai con đều chết khi mới mười bảy tuổi. Nên khi ông mất sớm, đã cho ông nội Phạm Quỳnh thừa tự gia sản của cụ Phạm Hội để lại: một căn nhà nhỏ hình ống ở số 1 phố Hàng Trống Hà Nội, do học trò xây dựng nên để thờ thầy.
Ông nội lại chỉ sinh được một trai là Phạm Hữu Điển (thân phụ Phạm Quỳnh), rồi bị cảm mà chết trẻ ngay khi vừa làm xong bài thi, cho vào ống quyển còn đeo ở cổ, chưa kịp nộp. Sau được xét chấm đỗ tú tài. Phạm Hữu Điển cũng đỗ tú tài, sinh được Phạm Quỳnh mới chín tháng thì vợ ra đi mãi mãi, mẹ phải bế cháu nội sang hàng xóm xin bú chực và mớm cơm cho ăn, rồi sớm khuya chăm sóc tận tình khi cháu bị đậu mùa. Mãn tang vợ ít lâu, ông Điển tục huyền, sinh được một trai nữa, đặt tên là Phạm Bái. Năm Phạm Quỳnh lên chín, thì ông mất; sau đó chú bé Bái cũng chết yểu. Bà vợ kế còn trẻ, đi bước nữa. Phạm Quỳnh thơ dại sống với bà nội và cụ Tú, vợ ông Ngạch, người cho gia đình thừa tự. Và ông đã lớn lên trong tình yêu thương, chăm sóc chu đáo của hai bà cụ nghèo khổ, vắt kiệt sức tàn gìn giữ giọt máu hiếm hoi của cả dòng họ. Côi cút, cô đơn từ nhỏ, Phạm Quỳnh tha thiết quý mến từng người ruột thịt thân yêu của mình. Điều đó ăn sâu vào tiềm thức của ông. Suốt đời ông yêu thương chăm sóc những người thân như luôn e sợ có thể có ngày ông lại mất họ…như đã từng mất mát quá nhiều từ thuở lọt lòng.
Cụ Tú và cụ Cả là bà nội Phạm Quỳnh, sống trong cảnh gieo neo, chật vật, bòn từng quả táo, trái bồ hòn, ít rau cỏ lèo tèo trong vườn sau nhà và buôn bán lặt vặt nuôi cháu khôn lớn. Đến năm mười sáu tuổi, Phạm Quỳnh đi làm, đời sống gia đình mới bớt khó khăn. Hằng ngày, đi bộ từ Hàng Trống vòng qua hồ Hoàn Kiếm đến làm việc ở trường Viễn Đông Bác Cổ (Ecole Francaise d’Extrême Orient), Phạm Quỳnh đi qua một cửa hiệu bán đồng hồ, bao giờ cũng dừng lại ngắm nghía chiếc đồng hồ quả quýt xinh xắn bày trong tủ kính, thèm thuồng mà không dám nghĩ đến chuyện mua. Sau này, khi ông nhận thêm việc dạy tiếng Việt tính theo giờ cho một vài người Pháp ở trường, thu nhập có khá hơn, ông mới dành dụm mua cho mình chiếc đồng hồ đúng như thế, ở hiệu ấy, và giữ luôn bên mình như một vật báu suốt nhiều năm ròng, kể cả khi đã trở thành Thượng thư triều đình Huế.
Hồi trẻ, say mê văn minh Pháp, nên khi hai bà cụ bảo về quê thăm và sửa sang phần mộ ông cha thì ông từ chối không đi, nói là: “Người đã mất rồi thì nên để cho người ta yên”; cho là: “Người mất rồi thì kỉ niệm để trong lòng là đủ”. Nhưng đến khoảng năm 1915, khi ông chừng hai mươi hai tuổi, bà cụ Tú qua đời, thì ông lại giữ đúng lễ xưa, khiến Hoàng Đạo Thuý, người bà con kém ông bảy tuổi, cũng là người say mê văn minh Pháp phải ngạc nhiên: Đầu đội mũ dứa, tay chống gậy trúc, đưa tiễn cụ đến tận nơi yên nghỉ cuối cùng ở cánh đồng Bạch Mai, cạnh một bờ rào.
