Los homosexuales de todo Estados Unidos consideran a San Francisco una "Meca Gay" gracias al auge de la distintiva comunidad gay, principalmente en el Distrito Castro, centrado en la manzana que va desde la parte alta de Market Street hasta la intersección de las calles Castro y 18. Se estima que hay hasta 100.000 hombres y mujeres gays en San Francisco, de una población total de aproximadamente 750.000 habitantes. El Castro no siempre fue un barrio gay. Hasta principios de la década de 1960, estaba habitado principalmente por la clase trabajadora blanca, predominantemente de ascendencia irlandesa, y era más conocido como "Eureka Valley". Pero a medida que la tendencia de la emigración blanca a los suburbios tras la Segunda Guerra Mundial atrajo a cada vez más familias mayores de San Francisco, nuevos grupos se instalaron tras ellas. Esta inmigración se caracterizaba por la presencia de minorías étnicas, principalmente negros, latinos y asiáticos. San Francisco también se convirtió en el hogar de miles de gays, y el Castro es el distrito donde decidieron invertir su dinero, echar raíces y establecerse. Cientos de casas de prostitución florecieron desde la Fiebre del Oro hasta principios del siglo XX, seguidas décadas después por el auge de los bares de topless y los clubes de striptease, y la industria del cine pornográfico. Todo ello contribuyó a una apertura sexual que le dio a San Francisco la reputación de desafiar directamente la represión sexual que prevalecía en el resto del país.
La Segunda Guerra Mundial impulsó considerablemente el desarrollo de la comunidad gay de San Francisco. Un millón y medio de soldados, de los cuales más del 10% eran homosexuales, pudieron encontrarse con mayor facilidad en los barrios marginales de San Francisco.
Durante la década de 1950, San Francisco también engendró la Cultura Beat, que compartía espacios y actitudes con la incipiente cultura gay. Allen Ginsberg, homosexual, escribió Howl y luchó contra los cargos de obscenidad en 1957.
En 1962, el acoso policial y de la junta de control de alcohol condujo a la creación del Gremio de Tabernas, integrado por los propietarios de establecimientos principalmente gays y bohemios. A medida que la comunidad se desarrollaba, las fiestas, celebraciones, fiestas callejeras, bares públicos y privados, baños públicos y clubes sexuales se convirtieron en importantes formas de expresión cultural y sociabilidad. El movimiento hippie de la década de 1960, los movimientos contra la guerra y la contracultura en general, propiciaron un clima relativamente favorable al placer para los gays.