Это издательство было основано в 1981 году Игорем и Мариной Ефимовыми. До этого они два года работали редакторами в издательстве "Ардис" и могли убедиться, что поток рукописей, поступавших от новых эмигрантов и из России, превышал возможности существовавших тогда русских издательств ("Посев", ИМКА-пресс, "Чалидзе", "Руссика" и несколько других поменьше). С другой стороны, американская полиграфическая техника уже в те годы давала возможность начать издательскую деятельность с ничтожным начальным капиталом.

"Новые русские книги" — эти слова были напечатаны уже на первом каталоге, и они отражают главное направление издательства. За прошедшие годы в "Эрмитаже" вышло много книг бывших членов Союза писателей, вынужденных покинуть свою страну: Василия Аксёнова, Юрия Дружникова, Льва Друскина, Игоря Ефимова, Руфи Зерновой, Кирилла Косцинского, Марка Поповского, Григория Свирского, Ефима Эткинда. Одновременно выходили произведения прозаиков, которым в СССР практически не удавалось печататься: Марка Гиршина, Фридриха Горенштейна, Игоря Губермана, Сергея Довлатова, Марка Зайчика, Виктории Платовой, Феликса Розинера, Ильи Суслова, Людмила Штерн.

Спрос на поэзию в эмигрантской среде относительно невысок, поэтому в финансовом отношении поэтические сборники крайне невыгодны. Тем не менее "Эрмитажу" удалось представить русскому читателю несколько новых и весьма интересных поэтов: Ина Близнецова, Анри Волохонский, Владимир Гандельсман, Михаил Ерёмин, Бахыт Кенжеев, Лев Лосев, Анатолий Найман, Ирина Ратушинская, Валерий Черешня.

Очень полезным оказалось новое издательство для литературоведов и социологов, пишущих по-русски. Среди авторов "Эрмитажа" — такие известные в американской научной среде слависты и эссеисты, как Марк Альтшуллер, Пётр Вайль, Александр Генис, Александр Жолковский, Вадим Крейд, Вероника Лосская, Владимир Шляпентох, Юрий Щеглов, Михаил Эпштейн.

Обширно представлены мемуары: о музыке — Дмитрий Паперно и Владимир Ашкенази, о театральном мире — Юрий Елагин и Леонид Якобсон, о годах революции — Зинаида Жемчужная и Надежда Крамова, о сталинщине — Инна Шихеева-Гайстер и Дора Штурман.

Старая эмиграция представлена такими именами, как Иван Елагин, Георгий Иванов, Дмитрий Мережковский, Николай Полторацкий, Леонид Ржевский, Лев Троцкий. Много вышло биографических и исследовательских работ о русских классиках: Бальмонте, Булгакове, Маяковском, Пастернаке, Сологубе, Толстом, Цветаевой.

Выпускает "Эрмитаж" и книги на английском языке. Это либо переводы ("Горе от ума", рассказы Бунина, роман Андрея Белого "Крещёный китаец"), либо учебники для студентов, изучающих русский язык. Для них же было выпущено несколько антологий русской прозы и поэзии. Несколько книг, вышедших в "Эрмитаже", впоследствии были опубликованы американскими издательствами в переводе на английский.

После падения коммунизма российские издательства встретились со значительными финансовыми трудностями. Именно поэтому несколько книг известных российских авторов не смогли выйти на родине, но впервае появились под маркой "Эрмитажа": "Новый Гулливер" Битова, "Свежо предание" Грековой, "Лев Толстой и русская история" Гордина. Однако на сегодняшний день наблюдается обратное движение: многие книги, первоначально изданные в "Эрмитаже", сейчас переиздаются в России.

В 2006 году издательство отметило своё 25-летие.