בחודש מארס, שנת 1977, התקיים מפגש היסטורי בחדר רוזוולט בבית הלבן, שסימן את הפעם הראשונה אי פעם בהיסטוריה של ארצות הברית שבה נשיא מכהן מאפשר דיון רשמי על זכויות להט"ב בין כתלי הבית הלבן.
למרות שמשלחת הפעילים לא נפגשה עם הנשיא קרטר עצמו (הוא שהה באותו יום בקמפ דיוויד), עצם השיחה שלהם עם צוותו סימנה ציון דרך משמעותי בהיסטוריה של המאבק למען זכויות להט"ב. את המפגש הובילה מידג' קוסטנזה, האישה הראשונה בהיסטוריה ששימשה כיועצת בכירה בצוות הנשיאותי.
באותה תקופה, קוסטנזה, אשר נפטרה בשנת 2010, הייתה לסבית בארון שקיימה בסתר קשר זוגי עם ג'ין או'לירי, שהייתה אחת ממנהלות הכוח הלאומי למען זכויות להט"ב. הזוג ארגן את הפגישה בבית הלבן עם 12 פעילים של התנועה לזכויות הקהילה הגאה מכל רחבי המדינה.
ביקור המשלחת הוביל לשינויים משמעותיים במדיניות הפדרלית, כולל החלטת משרד השיכון והפיתוח העירוני להפסיק את האפליה נגד להט"בים המבקשים דיור ציבורי, הפסקת המדיניות המפלה של שירותי ההגירה שאסרה על כניסת להט"בים למדינה, וההחלטה של רשות המיסים להעניק מעמד פטור ממס לארגונים ללא מטרות רווח המיועדים לקהילה הגאה, כמו כל ארגון צדקה אחר.
המשתתפים במפגש התבקשו לנסח מסמך מדיניות (white paper) בנושאים שחשובים לקהילה, שיופץ לאחר מכן לסוכנויות פדרליות. אחד מהם, ג'ורג' ראיה, כתב על נושאים בריאותיים וגילה שצהבת הייתה המחלה שהשפיעה בצורה המשמעותית ביותר על להט"בים באותה תקופה. המסמך שכתב הוביל את הממשלה הפדרלית לממן פרויקט מחקר על צהבת נגיפית בסן פרנסיסקו, וכמה שנים לאחר מכן הוא סיפק מידע יקר ערך לחוקרי איידס שניסו להילחם במגיפה.
בשנת 1978 השתתף הנשיא המנוח בקמפיין בחירות למושל בעיר סן פרנסיסקו, שם גינה הצעת חוק האוסרת על להט"ב לעסוק כמורים בשירותי החינוך הציבוריים של מדינת קליפורניה. את הבית הלבן הוא אמנם עזב בשנת 1981 לאחר כהונה אחת בלבד, שתמה בגלל בעיות כלכליות ומשבר בני הערובה עם איראן, אך פעילותו למען הקהילה הגאה מאז רק התחזקה.
As an ardent supporter of LGBTQ rights and the women’s movement, The Washington Post once referred to her as “President Carter’s ‘Window to the Nation.’” President Carter was away at Camp David during the meetings.
— White House History (@WhiteHouseHstry) June 17, 2020
בשנת 2005, עם פרסום ספרו Our Endangered Values: America's Moral Crisis ("ערכינו בסכנה: המשבר המוסרי של אמריקה"), העניק קרטר ריאיון למגזין The Advocate. הכתב שון קנדי אמר: "אתה נוצרי, אבל אין לך בעיה עם גברים הומוסקסואלים ולסביות כמו שיש לנוצרים רבים אחרים. למה?" קרטר השיב: "אני עובד את ישוע המשיח, שמעולם לא הזכיר הומוסקסואלים בשום אופן — בוודאי לא בצורה פוגענית. כאשר זה כן הוזכר בברית החדשה, זה היה בשילוב עם דברים כמו אנוכיות או משהו כזה, לכן מעולם לא ראיתי בכך סיבה כלשהי לגנות אף אדם. אני חושב שזה מאפיין מולד, בדיוק כמו דברים אחרים שאנחנו עושים בחיינו".
בשנת 2015, לאחר אישור הלכת הנישואים הגאים בארצות הברית, אישר קרטר את המהלך ואמר: "אני חושב שישוע היה מעודד כל מערכת יחסים אוהבת אם היא כנה ואמיתית ואינה פוגעת באף אחד אחר," ציין אז בראיון ל-HuffPost Live: "אני לא רואה שנישואים גאים פוגעים באף אחד אחר. אני מאמין שישוע היה מאשר נישואים גאים. זו פשוט דעתי האישית".
הנשיא הדרומי הסכים דאז שאין לכפות על כנסייה לבצע טקסי נישואין שהיא אינה מאשרת, אך גם קרא במשך שנים רבות לקבלה רבה יותר בקרב גופים ומוסדות דתיים. בשנת 2000 הוא נטש את זרם הכנסייה הבפטיסטית הדרומית בשל מה שכינה "אמונות נוקשות" במסגרתן בין היתר מלמדת הכנסייה שלהיות להט"ב זה פסול, ואינה מאפשרת לנשים לשמש ככוהנות דת.
קרטר גם הביע תמיכה בשוויון זכויות בצבא. בשנת 2007, הוא קרא לביטול מדיניות "אל תשאל, אל תספר “Don't Ask, Don't Tell”, במסגרתה נאלצו חיילים ואנשי ונשות שירות בצבא ארה"ב להסתיר את נטייתם המינית מחשש לסילוק מהצבא: "מחויבותה של המדינה לזכויות אדם מחייבת את המחוקקים לבחון מחדש את מדיניות 'אל תשאל, אל תספר', שמונעת מלסביות, הומוסקסואלים וביסקסואלים לשרת בגלוי בכוחות המזוינים שלנו", ציין בהצהרה שפרסם אז.
"אלה שמגנים על החירויות והחופש שלנו ראויים ליותר. יש הבדלים גדולים בדעת הקהל בנושאים חברתיים היום לעומת לפני 20 שנה. כאשר כיהנתי כנשיא, הרוב במדינה שלנו לא תמך בשוויון ללהט"בים אמריקאים, אך הדבר כעת השתנה". מדיניות ההסתרה בצבא הסתיימה בשנת 2011 תחת נשיאותו של ברק אובמה.
לאורך שנותיו המאוחרות ועד הרחק מעבר לגיל 90 המשיך הנשיא הקשיש בדימוס לקדם שוויון זכויות לקהילה הגאה במסגרת קמפיינים כלליים של זכויות-אדם, במיוחד בעבודתו באמצעות מרכז קרטר לשלום, אותו הקים. הוא דיבר לעיתים קרובות על כבוד האדם, ומאמציו ההומניטריים הרחבים יותר כללו תמיכה בקבוצות מודרות, ובהן גם הקהילה הגאה ברחבי העולם.