アメリカ第四代目大統領だったジェームズ・マディソン（James Madison：1751年-1836年）とも親しい関係にあることが手紙から分かった。
以下はメアリー・ランドルフが、ジェームズ・マディソンに書き送った手紙である。
https://founders.archives.gov/?q=Mary%2CRandolph&s=1131311113&r=24
またジェームズ・マディソンは、メアリー・ランドルフに以下の返信を書き送っている。
https://founders.archives.gov/?q=Mary%2CRandolph&s=1131311113&r=26
またこの手紙の内容から、ジェームズ・マディソンの妻でファースト・レディとしても高い評判を得ていたドリー・マディソンとも、メアリー・ランドルフはドリー・マディソンとも親しかったようである。返信の手紙の中には、ドリー・マディソンのカードも添えられていた。
ドリー・マディソンは、ジェームズ・マディソンを支え、夫の大統領就任後、最高級の料理人を雇ってホワイトハウスに迎え、パーティーを催し多くの人々をもてなしたとされている。マーティン・ヴァン・ビューレン大統領は「アメリカ史上随一の輝かしいホステスである」と驚嘆したことや、1808年大統領選挙でマディソンに敗れたチャールズ・コーツワース・ピンクニーは「マディソン夫妻に負けた。マディソンだけなら、勝てただろうに･･･」と嘆いたと言われている。
ドリー・マディソンは、メアリー・ランドルフと同様に、ホステスとして大統領を支え、有能な働きをしたとされている。