Jimmy Greaves ได้รับการเลี้ยงดูในครอบครัวชนชั้นแรงงานใน East Ham ซึ่งเป็นย่านที่รักฟุตบอลในลอนดอน ตั้งแต่อายุยังน้อย เขาแสดงพรสวรรค์ด้านกีฬาโดยกำเนิด โดยมักพบเห็นการเลี้ยงบอลชั่วคราวผ่านถนนที่ปูด้วยหิน วัยเด็กของเขามีความปรารถนาอันแรงกล้าในการเล่นอาชีพ ความฝันที่จะกลายเป็นความจริงในที่สุด

การเดินทางสู่วงการฟุตบอลอาชีพของกรีฟส์เริ่มต้นขึ้นเมื่อเขาเข้าร่วมระบบเยาวชนของสโมสรฟุตบอลเชลซี ความก้าวหน้าอย่างรวดเร็วของเขาในระดับต่างๆ เป็นข้อพิสูจน์ถึงทักษะพิเศษและความสามารถในการทำประตูโดยธรรมชาติของเขา ในปีพ.ศ. 2500 เมื่ออายุ 17 ปี เขาลงประเดิมสนามให้เชลซีชุดใหญ่ ถือเป็นจุดเริ่มต้นของอาชีพที่จะได้เห็นเขาก้าวไปสู่จุดสูงสุดอย่างที่ไม่เคยมีมาก่อน