Восени 1941 р. біля Бершаді зупинилася багатотисячна колона євреїв, депортованих з Бесарабії і Буковини. Бершадці під керівництвом Марчака надали їм всіляку допомогу і зуміли добитися дозволу розмістити їх у Бершаді. Зі свого боку, румунські євреї були вимушені заплатити начальникові повіту величезну суму грошей за право оселитися в Бершаді.
У гетто виявилося близько 20 000 депортованих з Румунії, а також з Одеської області; бершадське гетто стало одним з найбільших в Трансністрії.
До складу комітету гетто увійшли румунські євреї, що користувалися впливом серед співвітчизників і що уміли підтримувати хороші стосунки з румунськими офіцерами: М. Фарфель, І. Перельмутер, адвокат М. Шренцель, доктор Флейшман, а також місцеві лідери Е. Марчак, Р. Шульман, Ст. Долгонос, І.Сойбельман (стосунки між місцевими і депортованими євреями не завжди були безхмарними). Однією з перших справ комітету стало створення єврейської поліції.
Переселенців з Румунії розмістили в будинках місцевих євреїв по 15 — 25 чоловік в одній кімнаті, під житло було зайнято навіть будівля синагоги. Євреїв використовували на примусових роботах — вирубуванні дерев, мощенні доріг, в різних майстернях. За роботу вони не отримували ні грошей, ні їжі, так що були вимушені вимінювати речі на продовольство або працювати у місцевих селян, піддаючись ризику бути розстріляними за перебування поза гетто. В центрі гетто був невеликий ринок, на який перший час допускали українських селян із продовольством.
У першу зиму окупації при епідемії тифу загинуло більше половини населення гетто: восени 1941 р. в ньому було 25 000 чоловік, а в серпні 1942 р. залишалося близько 10000. Вмирало по 150- 200 чоловік в день; щодня по вулицях проїздив віз, що відвозив тіла на кладовище. Лише навесні їх поховали в шести братських могилах.
У 1941 — 1942 рр. командиром румунської жандармерії в Бершаді був лейтенант Георге Петреську, якого в гетто прозвали Машиахом. Він співчутливо відносився до в'язнів, прагнув полегшити їх долю і подати їм моральну підтримку. Петреську заборонив утиски євреїв, пропускав українських селян з продовольством на ринок гетто, в розпал епідемії зобов'язав продавати євреям продовольство за твердими цінами і організував доставку в гетто дезинфікуючих засобів. На своєму посту він протримався недовго і був звільнений зі служби.
Командири, що змінили, Петреську ввели режим жорсткої ізоляції гетто, оточивши його ровом і колючим дротом, піддавали в'язнів жорстоким грабежам і насильству. Вбивства євреїв почастішали з весни 1943 р., коли в Бершаді розмістилося відділення гестапо. Матеріальне положення в'язнів дещо покращало, коли в 1942 р. почала поступати допомога від євреїв Бухаресту. У гетто були створені аптека, інфекційна лікарня на 65 ліжок і безкоштовна їдальня на 450 чоловік.
Особливою проблемою гетто були сотні дітей-сиріт, що просили подаяння на вулицях, вмираючи з голоду і холоду. Навесні 1942 р. комітет гетто орендував кімнату і розмістив в ній першу групу з 10 сиріт, виписаних по одужанню з лікарні. Восени того ж року на гроші, прислані єврейськими організаціями Бухаресту, був орендований будинок з чотирьох кімнат, де розмістили 122 дитяти у віці від п'яти до шістнадцяти років. 135 дітей було віддано в сім'ї, матеріальне положення яких представлялося відносно благополучним. Ще 60 – 70 дітей було перевезено в кінці листопада 1942 року до дитячого будинку у м. Балту.
В середині 1943 р., завдяки фінансовій допомозі з Румунії, для вихованців дитячого будинку придбали ношений одяг. З дітьми займалися вчителі, у тому числі хазан, що готував дітей до зустрічі традиційних свят. У свято Песах 1943 р. в дитячому будинку був влаштований седер, на який запросили гостей. Навесні 1944 р. сироти, молодші 15 років, були відправлені до Румунії. З другої половини 1943 р. в Бершаді діяла школа для всіх дітей гетто, вчителі в ній працювали безкоштовно, а викладання велося румунською мовою.
У 1943 р. з наближенням фронту, встановився зв'язок між гетто і партизанами. Командиром одного з партизанських загонів, що діяли в Бершадському районі, був уродженець Бершаді Яків Таліс, підпільною групою в містечку керував Іосиф Бліндер. Багато євреїв, серед них і члени комітету гетто, надавали партизанам допомогу грошима, речами і медикаментами, а також переховували в гетто партизан.
У січні 1944 р. список євреїв, що допомагали партизанам, попав в руки гестапо; нацисти розстріляли всіх перерахованих в списку. Їх поховали в двох братських могилах в долині «Берлівка».
У лютому німці розстріляли ще 327 євреїв з гетто. У їх числі були члени комітету Міхаель Шренцель і доктор Флейшман, місцеві релігійні лідери Елі Марчак, Гедалья Шульман, Шимон Таліс, Гедалья Трубман, партійні і радянські працівники Петро Пекарь, Іосиф Бліндер, Міша Рудь, і багато інших.
У березні 1943 р., згідно із статистичними даними бухарестського Комітету допомоги, в Бершаді залишалося 9200 євреїв, з них 2 250 місцевих.
Бершадь була звільнена від окупантів 14 березня 1944 р.
