Der Name des Unternehmens geht auf den Firmengründer David Abercrombie zurück, der 1892 einen Campingladen, Abercrombie & Co, am Hafen von Manhatten eröffnete.
Ezra Fitch war ein Rechtsanwalt, der von seinem Beruf sehr gelangweilt war und seine Zeit lieber in freier Natur beim Camping verbrachte. Er steigt in Abercrombies Geschäft ein. 1904 wurde der Name des Unternehmens schließlich in Abercrombie & Fitch umgeändert.

Das Hauptmerkmal der Kleidung von Abercrombie & Fitch ist neben dem Elch (Moose), der sogenannte Vintage-Look. Durch ein bestimmtes Verfahren bekommen die Kleidungsstücke ein gewollt zerknittertes, gebrauchtes und verwaschenes Aussehen, welches bei Jugendlichen sehr beliebt ist.

Neben der Abercrombie & Fitch Marke gehören auch die Labels Ruehl, Gilly Hicks und Hollister Co zum Unternehmen.

Bisher gibt es nur Fillialen in den USA, Toronto, London, Mailand und Tokyo. Im Verlaufe des Jahres 2010 sollen aber weiter Geschäfte in Europa eröffnet werden, unter Anderem in Paris, Zürich und Barcelona.
Die Eröffung des ersten Geschäftes in Deutschland soll 2011 in Hamburg stattfinden.
Laut der eigenen Homepage liefert Abercrombie & Fitch bereits jetzt schon ihre Ware nahezu in die ganze Welt.