עם פתיחת יפן לעולם באמצע המאה ה-19, החלו להגיע אליה זרים לצורכי מסחר, שהתיישבו בערי הנמל המרכזיות: יוֹקוֹהָמָה, נָגָסָאקִי, קוֹבֶּה והָקוֹדָאטֶה. ביניהם הגיעו גם יהודים – מרוסיה, מהודו, מעיראק, מסוריה וממקומות נוספים. בעיר קוֹבֶּה שבמחוז קָנְסָאי התגוררו היהודים בעיקר בשכונת קִיטָאנוֹ.

בשנת 1912 הוקם ארגון ״הקהילה היהודית קָנְסָאי, הפועל עד היום. זו הקהילה היהודית היחידה ביפן הפועלת באופן רצוף מעל למאה שנה.

במהלך מלחמת העולם השנייה אירחה הקהילה יהודים שברחו מאירופה באמצעות אשרות מעבר שהונפקו על ידי חסיד אומות העולם צִ'יאוּנֶה (סֶמְפּוֹ) סוּגִיהַארַה, קונסול יפן בליטא. בית הקהילה היהודית נחרב בהפצצות חיל האויר האמריקאי ב-1945, והקהילה הספרדית עברה להתפלל במחסן ששימש כבית כנסת. בשנת 1968 נרכש המחסן בכספי תרומות של חברי הקהילה ובשטחו הוקם בית הכנסת ׳אוהל שלמה׳, על שמו של אביו של מייסד בית הכנסת, רחמו ששון. בשנת 1970 הונחה אבן הפינה למבנה בית הכנסת, כמצוין בשלט הקבוע בפינה הדרום-מערבית של המבנה.

במהלך שנות השבעים נבנה מקווה בהוראת הרבי מליובאוויטש, על ידי שליחו הרב אברהם פייגלשטוק, המשמש כיום כרב בעיר וונקובר שבקנדה. בשנת 1995 התרחשה רעידת אדמה קשה בקוֹבֶּה, שגרמה לאלפי הרוגים ולהריסת שטחים נרחבים של העיר. בנין בית הקהילה נפגע קלות, והבנין הפך לחוף מבטחים לרבים מדיירי השכונה.

בתחילת שנות האלפיים השתלבו בקהילה חברים חדשים שהפיחו רוח חדשה בקהילה. משנת 2005 מנוהלת הקהילה על ידי אותו ועד: נשיא – טוני יאיר לוי, גזבר – מוטי מאיו, וחברי הועד דניאלה שִׁינוֹזוּקָה, משה ג׳ינו ואוהד אלחרר.