奥运会五环旗是在顾拜旦主持下制定的。五环分别为蓝、黑、红、黄、绿色，三环在上，两环在下，环环相扣，紧紧联在一起。按照顾拜旦对此的解释，五环“象征世界上承认奥林匹克运动、并准备参加奥林匹克竞赛的五大洲，而第六种颜色白色——旗帜的底色，意指所有国家都毫无例外地能在自己国家的旗帜下参加比赛”。 后来有的人解释说，国际奥委会最初采用蓝、黑、红、黄、绿色作为五环的颜色是因为它能代表当时参加国际奥委会所有国家国旗的颜色。自1920年第7届奥运会起，五环的五种颜色象征五大洲：蓝色代表欧洲，黑色意指非洲，红色象征美洲，黄色标志着亚洲，而绿色喻作澳洲。 1973年国际奥委会会刊《奥林匹克论坛》则强调：“会徽和会旗的五环含义是象征着五大洲的团结，全世界的运动员以公正、坦率的比赛和友好的精神，在奥运会上相见。”

1936年奥运会会址选在柏林，是个历史错误，是国际奥林匹克运动发展中的一场悲剧。
柏林，也曾被定为1916年奥运会的举办地，因为它成了战争的策源地，使那届奥运会变为空白。战后，德国军国主义受到了惩罚，直到1928年方获得参加奥运会的权利。1924年德国的特奥多尔.莱瓦尔当选为国际奥委会委员。1927年1月29日，莱瓦尔德领导的德国奥委会致函国际奥委会，希望由德国主办第十一届奥运会，并提出柏林、科隆、纽伦堡和法兰克福四地作为候选城市。与此同时，申请主办这届奥委会的还有埃及的亚历山大，西班牙的巴塞罗那，匈牙利的布达佩斯，阿根廷的布宜诺斯艾利斯，爱尔兰的都柏林意大利的罗马和芬兰的赫尔辛基。

1932年（一说1931年）国际奥委会将会址选在柏林。当时纳粹尚未上台，但已在蠢蠢欲动，气焰十分嚣张。纳粹是十分仇视和反对奥运会的，他们认为这是"犹太人和和平主义者搞的花样"。纳粹分子还斥责德国运动员在1932年奥运会上与黑人一起比赛，有损日耳曼民族的尊严。1933年以阿道夫.希特勒为首的纳粹党夺取了德国政权，德国政局发生了严重变化。鉴于当时的德国政治形势，1934年国际奥委会讨论了是否仍在柏林举行奥运会的问题，并专门成立了一个调查委员会，前往德国实地调查。负责这次调查的是当时国际奥委会委员、一贯玩弄"体育与政治"分开的美国人艾布伦戴奇。调查委员会一行到达德国后，耳闻目暑一些纳粹排斥犹太人、扩军备战等法西斯罪行，并觉察到粹上台后由反对奥地转为积极支持的真实意图，但其负责人布伦戴奇仍说柏林具有举办奥运会的条件。国际奥委会因受希特勒宣传和表面现象的蒙骗，以及当时欧洲推行绥靖政策的影响，最后仍级持了原议，在柏林举行第十一届奥运会。布伦戴奇的态度，也影响了对参加柏林奥运会存在着分歧意见的美国奥委会，美国决定参加又对其他国家起了作用。1933年1月24日，好心的莱瓦尔德被推选为柏林奥运会筹备委员会主任。这个半犹太人对运动会能否顺利举行此时已是忧心忡忡。1936年3月16日，莱瓦尔德会见了1933年2月9日即充任柏林奥运会大会总裁的希特勒，出乎意外的是，莱瓦尔德从这位总裁那里得到了"全力支持"的诺言。这使他稍感宽慰。但是不久便厄运降临，以戈培尔为首的纳粹党徒接管了全部筹备工作，莱瓦尔德被排挤于外。纳粹甚至扬言，要撤消莱瓦尔德在国际奥委会的委员职务。这下触怒了国际奥委会。国际奥委会主席巴耶－－拉图尔申言，如果那样，国际奥委会将取消伯林的主办权。美国也发表声明，以不参加奥运会相威胁。这样，纳粹才算屈服了。纳粹党徒上台后，对奥运会的态度来了一个180度大转变，其目的是想利用奥运会，给法西斯德国蒙上一层和平的面纱。他们印了成吨宣传德国"繁荣与昌盛"的材料，耗费了巨额资金，用花岗石、大理石等兴建了一座能容10万人的大型运动场，一个有两万个看台的游泳池，以及体操馆、篮球场等，还修建了一个比洛杉矶奥运会更豪华的奥运会村。当国际奥委会要希特勒保证能让犹太人参加奥运会时，希特勒也被迫同意了，并故作姿态，邀请了侨居美国的德国犹太女击剑手、1928年奥运会金牌获得者海伦娜.迈尔回国参赛。迈尔曾犹豫不决。但顾及到她留在德的母亲和两个兄弟的安全，毅然踏上了征途。后来她在击剑赛中，得了1枚银牌。但是，德国法西斯所玩弄的蒙骗手腕，仍被许多正直人士所识破。1936年6月，在法国巴黎召开了"保卫奥林匹克思想大会，"与会的有法国、西班牙、美国、英国、捷克斯洛伐克双利时、瑞典、丹麦、荷兰等国人士。大会号召人们反对在柏林举行奥运会，积极争取将会址改在巴塞罗那。抗议浪潮席卷世界各地，纽约成立了一个斗争委员会，欧洲一些国家明确表态，不参加柏林奥运会，并积极支持筹办巴塞罗那奥运会。7月，法、英、美、瑞士、瑞典、希腊等20个国家的运动员，云集巴塞罗那，准备参加7月18日举行的运动会，可惜，由于开幕前夕法西斯分子捣乱，运动会流产了。令人遗憾的是，这一切未能使国际奥委会改变初衷，运动会仍如期在柏林举行。

大会于1936年8月1日正式开幕，16日结束。参加比赛的来自49个国家的4066名运动员，其中女选手328人。德国人数最多，共406名运动员，美国次之，330人，匈牙利列第三，211人。首次参赛的国家有阿富汗、百慕大群岛、玻利维亚、歌斯达黎加、列支敦士登和秘鲁。中国共派出69名运动员，参加了田径、游泳、举重、拳击、自行车、篮球和足球6个大项的比赛，均在预赛中遭淘汰。另外还派了一个武术表演队和一个体育考察团。这个考察团曾赴包括德国在内的一些欧洲国家考察。