사마천의 자는 자장이고 좌풍익(左馮翊) 하양(河陽), 즉 지금의 섬서성 한성현(韓城縣) 사람이다. 왕국유(王國維)의 <태사공행년고(太史公行年考)에 의하면 사마천은 기원전 145년에 출생했다. 그의 선조는 주왕조의 태사로 있었고, 그의 아버지인 사마담(司馬談)은 한조의 태사령(太史令)으로 지냈었다. 그의 아버지는 전문적으로 성력(星曆), 역경(易經)과 황로(黃老) 학설에 정통했었음으로 여러 면에서 사마천에게 지대한 영향을 주었다. 사마천이 열살 전까지 소를 치는 등 집안 일을 도와주었다고 전해진다. 후에 아버지를 따라 장안에 들어가서 직접 아버지로부터 교육을 받아 10세 전후에 고대 전적들을 탐독할 수 있게 되었다. 그후로 사마천은 공안국(孔安國)에게서 고문상서(古文尙書)를 배웠고, 동중서(董重舒)에게서 금문(今文)으로 된 춘추(春秋)를 배웠다.

사마천은 20세에 남으로 장강(長江), 회하(淮河) 유역, 회계산(會稽山), 구억산(九嶷山), 원수(沅水), 상수(湘水) 일대를 유람하였고, 북으로 문수(汶水), 사수(泗水), 추현(鄒縣), 역산(嶧山), 파(鄱), 설(薛), 팽성(彭城) 등 옛날 노(魯), 제(齊), 양(梁), 초(楚) 등의 제후국을 유람하고 하양(夏陽)으로 돌아왔다. 장안에 들어간 그는 낭중(郎中)에 임명되어 관직생활을 지작했다. 35세에 그는 한무제(漢武帝)의 어명을 받아 서남(西南)의 소수민족지구를 시찰하고 안무(按撫)하기 위해 공(邛), 착(笮), 곤명(昆明) 등지(오늘의 사천성 서부 지역과 보산(保山), 등충(騰冲) 일대)를 다녀왔다. 그후에도 한무제의 시종(侍從)으로 각 지역을 순시 유람했다. 그의 발자취는 중국의 절반 이상의 지역에 남아있다. 그는 광활한 지역을 여행하면서 산일(散逸)된 역사 자료와 이야기를 수집하고 많은 역사 유적지를 실지로 답사하였으며 각 지방의 민정 세속을 두루 이해했다. 이 모든 것은 물론 그의 세계관 형성과 후일의 편찬 사업에 아주 중대한 영향을 끼쳤다.

사마천은 서남으로부터 돌아와 낙양에 있는 아비지 사마담을 만났다. 담은 병이 위중하였다. 담은 천의 손을 잡고서 “ 우리의 선조들은 주실의 태사였느니라(余先周室之太史)” “ 내가 죽으면 네가 태사가 될 것이 분명한데 태사가 되면 내가 논술하려던 일을 잊지말라(余死, 如必爲太史, 爲太史, 無忘吾所欲論著矣)”는 유언을 남겼다. 사마천은 부친의 유언을 가슴깊이 새겨 두었다. 과연 사마담이 죽은 후 3년만에 사마천은 태사령을 제수 받았다. 즉 기원전 108년 원봉(元封) 3년에 태사령이 된 사마천은 황실의 석실금궤(石室金匱)에 보관해 두었던 책을 꺼내어 읽으며 사기(史記) 편찬을 위한 역사 자료의 정리 사업을 시작했다.

사마천은 사기 저술을 시작하기 전인 원봉 7년 기원전 104년에 공손경(公孫卿), 호수(壺遂)와 함께 상소문을 역법(曆法)을 고칠 것을 제의했다. 한무제는 그들 셋의 제의를 받아들여 한력(漢曆)을 만들라는 조서를 내렸다. 이어서 연호를 고쳐 태초(太初) 원년으로 정하고 정월을 세수(歲首)로 했다. 이것이 태초력(太初曆)으로 지금까지 우리가 쓰고 있는 음력(陰曆)이다. 이 태초력은 신해혁명 전까지 약 2천년 동안 통용되었다. 42세의 사마천은 태초력을 반포한 태초 원년 기원전 104년에 춘추(春秋)를 계승했다고 하는 사기(史記)의 저술작업을 시작했다.

한무제 천한(天漢) 2년 기원전 99년에 사마천은 이릉(李陵)의 일로 인하여 투옥되었다. 즉 조정에서 이릉의 투항 사건을 단죄할 때 사마천은 이릉이 부득이하여 항복했을 뿐이고 우리가 흉노를 치면 흉노 내부에서 그가 호응해 나올 것이라고 변호했다. 한무제는 감히 적에게 항복한 변절자를 변호하고 임금을 속였다는 죄명으로 사마천을 구금하였다. 한 대의 형법에 죄수는 돈으로써 속죄할 수도 있었고 권세자의 보증 하에서 보석도 받을 수 있게 규정되어 있었다. 그러나 사마천에게는 속죄할 만한 돈도 업었고 또 그를 보석을 보증해줄 만한 권세자인 지기도 없었다. 그는 별 도리 없이 치욕적인 부형(腐刑)을 받지 않을 수 없었다. 부형을 당한 사마천은 하루에도 몇 번이고 자결할 생각을 했다가는 고대 성현들이 불우한 처지에서도 흔들림 없이 위대한 사업을 수행한 선례를 통하여 고무를 받았다. 그는 사기의 저술을 완수하기 위해 꿋꿋이 살았다. <임안에게 보내는 편지>에서 그는 부형을 받은 후의 모순된 심정을 이렇게 쓰고 있다. “ 그럼으로 하루에도 아홉 번이나 창자가 늘어지곤 하오. 집에 있으면 무언가 잃어버린 것같이 허전하고 문을 나서면 갈 길이 막막하였오. 이 수모를 생각할 때마다 등골에 흐르는 진땀이 옷에 베이지 않은 적이 없었소. (是以腸一日而九回, 居則忽忽若有所亡, 出則不知其所往, 每念斯耻, 汗未嘗不發肯沾衣也)” 그는 출옥 후 중서령(中書令)이라는 환관직에 있으면서 사기의 저술 사업을 서둘렀다.

사마천은 바로 이 <임안에게 보내는 편지>에서 ‘일가지언(一家之言)’을 이룬 사기의 저술사업이 기본적으로 완수되었다고 알려주고 있다. 이로 보아 적어도 그가 태사령이 되어 사료를 읽고 정리하기 시작한 원봉 3년 기원전 108년부터 이 서한을 발송한 태시(太始) 4년, 기원전 93년까지 도합 16년간의 고된 저술작업을 거쳐 이 위대한 거작 사기를 완수한 셈이다.

왕국유(王國維)는 그의 <태사공행년고(太史公行年考)>에서 사마천은 대개 한무제 말년에 서거했다고 고증하고 있다. 사마천에게는 딸 하나밖에 없었다. 그의 딸 소생인 양운(楊惲)이 사기를 애독한 다음 세상에 처음으로 전파했다. 사기는 원래 <태사공서(太史公書)>의 이름으로 전파되었다가 동한 말기 영제(靈帝), 헌제(獻帝) 이후에 사기로 불려지기 시작했다. 사마천에게 사기 이외에 지금까지 남아 있는 작품으로는 <임안에게 보내는 편지>와 <비사불우부(悲士不遇賦)>가 반고의 후한서에 남아있다.