Les homosexuels de toute l'Amérique considèrent San Francisco comme la « Mecque gay » grâce à l'essor d'une communauté gay singulière, principalement dans le quartier de Castro, concentré sur le pâté de maisons allant de l'Upper Market Street jusqu'à l'intersection de Castro et de la 18e Rue. Certains estiment qu'il y a jusqu'à 100 000 homosexuels et lesbiennes à San Francisco, sur une population totale d'environ 750 000 habitants.
Le quartier de Castro n'a pas toujours été un quartier gay. Jusqu'au début des années 1960, il était principalement peuplé de la classe ouvrière blanche, majoritairement d'origine irlandaise, et mieux connu sous le nom de « Eureka Valley ». Mais après la Seconde Guerre mondiale, la fuite des Blancs vers les banlieues a entraîné le départ de plus en plus de familles san-franciscaines âgées, suivies de nouveaux groupes. Cette immigration était généralement le fait de minorités ethniques, principalement des Noirs, des Latinos et des Asiatiques. SF a également accueilli des milliers d'homosexuels, et le quartier de Castro est celui où ils ont décidé de dépenser leur argent, de s'installer et de s'installer. Des centaines de maisons de prostitution ont prospéré de la ruée vers l'or jusqu'au début du XXe siècle, suivies des décennies plus tard par l'essor des bars seins nus et des clubs de strip-tease, ainsi que par l'industrie du film pornographique. Tout cela a contribué à une ouverture sexuelle qui a donné à San Francisco la réputation de remettre en cause la répression sexuelle qui régnait dans le reste du pays.
La Seconde Guerre mondiale a donné un élan considérable au développement de la communauté gay de San Francisco. Un million et demi de soldats, dont plus de 10 % étaient homosexuels, ont pu se retrouver plus facilement dans les quartiers marginaux de San Francisco.
Dans les années 1950, San Francisco a également vu naître la Beat Culture, qui partageait des espaces et des attitudes avec la culture gay naissante. Allen Ginsberg, lui-même gay, a écrit Howl et a été poursuivi pour obscénité en 1957.
En 1962, le harcèlement de la police et des autorités de contrôle de l'alcool a conduit à la création de la Tavern Guild, composée de propriétaires d'établissements principalement gays et bohèmes. À mesure que la communauté se développait, les fêtes, les célébrations, les fêtes de rue, les bars publics et privés, les bains publics et les clubs échangistes devinrent des formes importantes d'expression culturelle et de sociabilité. Le mouvement hippie des années 1960, ainsi que les mouvements pacifistes et contre-culturels en général, créèrent un climat relativement propice au plaisir pour les homosexuels.