Das erste inventarisierte Konvolut umfasste ursprünglich 104 Fotografien, alle aus Ozeanien. Sie waren vom Forschungsreisenden und Ethnologen Wilhelm Joest (1852-1897) zusammengetragen bzw. teilweise selbst aufgenommen worden. Der Sprössling einer wohlhabenden Kölner Familie unternahm mehrere große Reisen in alle Welt und sammelte ethnografische Objekte. Nach seinem Tod - er verstarb auf Reisen und wurde auf Ureparapara (Vanuatu) beerdigt - gelangten Teile davon, ebenso wie die erwähnten Fotografien über seine Schwester 1899 als Schenkung in den Besitz der Stadt. Im 1901 gegründeten Museum bildeten sie die Basis der Sammlung. Nach provisorischer Unterbringung übersiedelten sie 1906 in den Museumsneubau am Ubierring, der von Adele Rautenstrauch, geb. Joest auch im Andenken an ihren 1900 verstorbenen Gatten Eugen finanziert worden war.
Einem weiteren Kölner Bürger ist der größte Zugang der Fotografischen Sammlung zu verdanken. Der aus vermögenden Verhältnissen stammende Georg Küppers-Loosen (1860-1910) war Mitbegründer und stellvertretender Vorsitzender des "Vereins zur Förderung des städtischen Rautenstrauch-Joest-Museums". Ab den 1890er Jahren begab er sich auf ausgedehnte Reisen. Neben ethnografischen Objekten brachte er zahlreiche Fotografien mit. Erste Eingänge von Fotografien aus seiner Sammlung sind bereits ab 1903 im Inventarband registriert. Der Hauptteil seiner umfangreichen Fotosammlung, die auch von ihm selbst gemachte Aufnahmen umfasst, gelangte jedoch erst nach seinem Tod über seine Schwester in den Bestand des Museums. Josefine Küppers kam auch für die Anschaffung der Regale zur Unterbringung der Fotografien ihres verstorbenen Bruders, sowie teilweise für deren Erschließung auf.
Unter den ca. 10.000 Aufnahmen sind u. a. die Profifotografen und Studios: Henry King (Sydney), Burton Brothers (Neuseeland), Kerry & Co. (Sydney), Pascal Sébah (Istanbul), Zangaki (Ägypten), Scowen (Sri Lanka), John William Lindt (Australien), Lambert & Co. (Singapur), Thomas Andrew (Samoa) und Lehnert & Landrock (Tunis und Kairo) vertreten.
Besonders herausragend in der Sammlung Küppers-Loosen ist das an die 3.800 Fotografien umfassende Konvolut von den Philippinen. Sie waren zwischen 1887 und 1907 vom "Bureau of Non-Christian-Tribes" von der jungen Kolonialmacht USA systematisch während zahlreicher Expeditionen in noch unerforschte und schwer zugängliche Regionen aufgenommen worden.
Darüber hinaus kamen in den ersten Jahren nach Museumsgründung u. a. Aufnahmen von Bronislaw Pilsudski (1866-1918) der Ainu in den Bestand, Missionsfotografien aus dem Trappisten-Kloster in Natal, Südafrika und von John Watt Beattie (1895-1930) wurden Fotografien aus Melanesien angekauft. Auch Albert Grubauer (1869-1960) der 1911 während seiner Reise in Indonesien fotografierte, ist in der Fotografischen Sammlung vertreten. Unter den mit Fotografien bestückten Büchern und Tafelwerken finden sich Verkaufskataloge der Ethnografika-Händler Umlauff (Hamburg) und Oldman (London) ebenso, wie "Types principaux des différentes races humaines dans les cinq parties du monde" (1862, St. Petersburg) von Karl Ernst von Baer, sowie "Anthropologisch-Ethnologisches Album" (1873/74, Hamburg) von Carl Dammann. Eine ganz besondere Rarität stellt das Werk "The people of India. A series of photographic illustrations with descriptive letterpress of the races and tribes of Hindustan" dar. Es wurde in acht Bänden zwischen 1868 und 1872 von J. Forbes Watson und John William Kaye herausgegeben und lichtet die Bevölkerung Indiens auf 468 Fotografien ab.
Während des Zweiten Weltkrieges gingen der Fotografischen Sammlung ca. 4.000 Fotografien verloren. In den Jahren danach gelangten zahlreiche Aufnahmen von Feldforschungen in den Bestand: mehr als 1000 von der Indonesienexpedition, aufgenommen von Friedrich Wilhelm Funke (1921-2012), ca. 300 Aufnahmen von Gerd Koch (1922-2005) aus Polynesien und Melanesien, und von Carl August Schmitz (1920-1966) mehr als 800 aus Melanesien.
Der zeitliche Rahmen dieses an die 25.000 Fotografien umspannenden Kernbestandes erstreckt sich von den letzten Jahrzehnten des 19. Jahrhunderts bis in die Mitte des 20. Jahrhunderts. Regionale Schwerpunkte sind Ozeanien, Afrika, die Philippinen und Indonesien.
Im Bestand befindet sich auch eine früher für die Lehre bestimmte Diasammlung von mehr als 5.000 Objekten. Aus dem Negativbestand besonders erwähnenswert sind die während einer Kamerunexpedition 1911-1913 entstandenen Aufnahmen von Marie Pauline Thorbecke (geb. Berthold, 1882-1971) die ihren Mann, den Geografen Franz Thorbecke begleitete.
Zu den neueren Zugängen zählen an die 800 kolonialgeschichtliche Fotografien aus Deutsch-Ostafrika und Kiautschou, die 1990 ersteigert werden konnten. 2004 erhielt das historischen Fotoarchiv von den Nachfahren des deutschen Kolonialbeamten Max Franke (1880-1960) eine Schenkung von mehr als 220 größtenteils handkolorierten Glasdiapositiven und dem dazugehörigen Original-Projektionsgerät.
Den größten Zuwachs stellt der Nachlass des bekannten Reiseschriftstellers Hans Helfritz (1902-1995) dar. Er umfasst etwa 78.000 Fotografien (Abzüge, Dias und Negative), die Helfritz während seiner zahlreichen Reisen in alle Welt aufgenommen hat.
Viele Fotografien in der Fotografischen Sammlung sind nur dürftig dokumentiert. Entstehungszeit, -ort, -zusammenhang, Abgebildete und Fotografierende sind unbekannt. Sofern eine Rekontextualisierung überhaupt noch möglich ist, bedarf sie langwieriger Recherchen. Solche waren im Rahmen der 1995 gezeigten Ausstellung "Bilder aus dem Paradies. Koloniale Fotografie aus Samoa 1875-1925", die teilweise aus den eigenen Beständen bestritten worden war, für einige Konvolute ermöglicht worden. Die erwähnten Aufnahmen von den Philippinen konnten im Rahmen eines zweijährigen von der DFG geförderten Projekts erschlossen werden. Zentrales Anliegen dabei war eine Auseinandersetzung mit den Mitteln der Stereotypisierung, deren Möglichkeiten und Anwendungsgrenzen nachgegangen wurde.
Ebenso war es möglich, sich dem umfangreichen fotografischen Nachlass von Hans Helfritz im Rahmen eines Projekts anzunähern. Daraus resultierte eine Ausstellung die 2007 an mehreren Orten im Jemen gezeigt wurde. Von diesem Bestand sind heute ca. 6.300 Fotografien digitalisiert und in einer Datenbank recherchierbar. Vom historischen Kernbestand liegt bereits mehr als die Hälfte der Objekte digitalisiert vor.