Die Behörde wurde als das dem US-Generalbundesanwalt unterstehende Bureau of Investigation („Ermittlungsbehörde“, kurz BI, meist aber abgekürzt BOI) am 26. Juli 1908 mit 34 sogenannten Agents durch Attorney General Charles Joseph Bonaparte, dem Großneffen von Napoleon Bonaparte, gegründet. Der erste Mitarbeiterstamm bestand aus Angestellten des Justizministeriums und ehemaligen Mitarbeitern des Secret Service.
Im Juli 1932 erfolgte eine Umbenennung in United States Bureau of Investigation, um ein Jahr später wieder als Bureau of Investigation zusammen mit dem Bureau of Prohibition Teil der vom Justizministerium gegründeten Division of Investigation. Im Juli 1935 bekam das BOI wieder seinen alten eigenständigen Status und mit dem Zusatz „Federal“ seinen Namen: FBI.
Anfang des 20. Jahrhunderts geriet das BOI mit seiner Verwicklung in die Palmer Raids 1920 und den Daugherty-Burns-Skandal 1924 in die Kritik. Am 10. Mai 1924 wurde J. Edgar Hoover Direktor der Behörde und leitete eine strikte Professionalisierung nach innen und eine Erweiterung der Befugnisse, Zuständigkeitsbereiche und Fähigkeiten der Behörde nach außen ein.
Erst im Jahre 1934 wurde das Tragen von Schusswaffen offiziell erlaubt und die Agents erhielten erstmals direkt Polizeibefugnisse. Fast ein halbes Jahrhundert lang leitete Hoover die Behörde als quasi autonome Einrichtung und prägte das Bild des FBI in den Epochen der Prohibition, der Gangster der 1930er, des Kalten Krieges und der McCarthy-Ära bis in die Zeit der New Left. Im Zuge der Bürgerrechtsbewegung wurden seit den 1960er Jahren Vorwürfe gegen das FBI erhoben, es missbrauche systematisch seine Befugnisse, um politische Bewegungen zu unterwandern und zu diskreditieren.
Später wurden das Programm COINTELPRO und andere bekannt. Der Einbruch der selbst ernannten Citizens’ Commission to Investigate the FBI in ein FBI-Büro in Philadelphia 1971 ergab eine Vielzahl an Dokumenten, nach denen das FBI sich nur zu einem geringen Anteil überhaupt mit Kriminalermittlungen befasste, sondern fast ausschließlich linke und liberale politische Gruppen überwachte.
Der Tod Hoovers 1972 fiel etwa mit den ersten Veröffentlichungen zusammen, es folgten die Untersuchungen des Kongress zum Missbrauch aller Nachrichtendienste Mitte der 1970er Jahre. Durch den aufgedeckten Machtmissbrauch und die Instrumentalisierungen des „Büros“ zu politischen Zwecken erlitt der Ruf des Bureau of Investigation tiefe Kratzer. Bis dahin hatte es ein hohes Ansehen in der US-Bevölkerung.
Nach dem Tode Hoovers 1972 wurde sich dazu entschieden den Namen zum Federal Investigation Bureau (kurz FIB) zu ändern.