המונח "יהודי" נגזר משמו של בנו הרביעי של יעקב, יהודה. ייתכן שבמקור הוא התייחס רק לצאצאיו של יהודה, שהיוו את אחד משנים-עשר שבטי עם ישראל (צאצאיהם של שנים-עשר בניו של יעקב).

כשהוא על ערש דווי בחר יעקב ביהודה לתפקיד המנהיג והמלך של משפחת יעקב, שבהמשך הפכה ל'עם ישראל' (ישראל הוא שמו השני של יעקב). נבואה זו התגשמה בשנת 869 לפנה"ס, כאשר כל שנים-עשר שבטי ישראל קיבלו על עצמם את מלכותו של דוד, שהגיע משבט יהודה.

לאחר מות שלמה המלך, בנו וממלא מקומו של דוד, התפצלה ממלכת ישראל המאוחדת לשתי ממלכות: ממלכת יהודה בדרום הארץ, שכללה את שבטי יהודה ובנימין וחלק משבט לוי שהתרכזה סביב עיר הבירה ירושלים ובית המקדש ששכן בה; וממלכת ישראל, הצפונית, שכללה את עשרת השבטים האחרים.

במאה ה-5 לפנה"ס נכבשה ממלכת ישראל על ידי שלמנאסר, מלך האימפריה האשורית, ועשרת השבטים הוגלו ואבדו. מעתה נותרה רק ממלכה אחת בעם ישראל: ממלכת יהודה. מאז הפך הכינוי "יהודי" שם נרדף לבן עם ישראל, ללא תלות במוצא השבטי.

אבל לשם "יהודי" יש גם משמעות עמוקה יותר. שנים מאוחר יותר, תחת האימפריה הבבלית, אנו מוצאים את הכינוי "יהודים" (במקור בארמית: "יְהוּדָאיִן") ביחס לבני ישראל המסרבים לשתף פעולה עם הפולחן האלילי הבבלי1. הכינוי "יהודי" כלפי אדם ספציפי מופיע בכתובים לראשונה ביחס למרדכי, גיבור מגילת אסתר וסיפור פורים: "אִישׁ יְהוּדִי הָיָה בְּשׁוּשַׁן הַבִּירָה וּשְׁמוֹ מׇרְדֳּכַי . . אִישׁ יְמִינִי"2. התלמוד3 מסביר שייחוסו השבטי של מרדכי מצוין במילים "איש ימיני", כלומר מוצאו משבט בנימין, ואילו התואר "איש יהודי" מתייחס לאמונתו של מרדכי "שכפר בעבודה זרה". זאת כיון "שכל הכופר בעבודה זרה נקרא יהודי".

המפרשים מסבירים כי השם "יהודה" עצמו הוא נגזרת של המילה "הודאה" שפירושה הכרה של כניעה. את שמו קיבל יהודה מאת אימו, לאה, כביטוי של הכרת הטוב לה' על לידתו4. כך, מי שמכיר בקיומו של הבורא ומוכן להקריב את חייו למען האמת הזו נקרא "יהודי".

מכאן הגיע הכינוי "היהודי הראשון" כלפי אברהם אבינו, בתור האדם הראשון שהשתמש ביכולות הקוגניטיביות שלו כדי להכיר ולגלות את קיומו של הא-ל האחד בורא השמיים והארץ, נלחם באומץ נגד תפיסת האלילות של אבותיו ובני דורו, ומסר את חייו למען הפצת האמונה האמיתית. למעשה, אברהם מימש את ה"יהדות" כמעט אלף שנה לפני שהמונח נכנס לשימוש נפוץ.