萬歷二十五年（1597年）對于徐光啟來說是幸運的一年，這一年他得到主考官焦竑的賞識，奪得了鄉試第一名——解元。盡管第二年春天的會試失利了，徐光啟還是開心地返回了故鄉上?？h，接受親朋好友的祝賀。他在家中住了一年多，正忙于安排家計，忽然聽到了恩師焦竑辭官的消息，大為驚詫。原來焦竑不但是個思想先進、愛才惜才的“伯樂”，還是一名為人耿直、嫉惡如仇的官員。他遇到不平之事就直言不諱，得罪了執政的大臣，在朝廷上受到了排擠。對朝政失望之余，焦竑辭去官職，回到南京老家過起了隱居生活。徐光啟聞聽此事，立刻安排好家里的事，于萬歷二十八年（1600年）春天前往南京看望焦竑。
南京是當時明朝的陪都，許多知名學者和文人都聚集在這里進行講學，學術思想很活躍。于是天主教傳教士利瑪竇也在南京開展傳教活動，并與焦竑結為了朋友?？吹竭h道而來的徐光啟，焦竑十分高興，與他暢談南京的風土人情、人文勝跡，不免也聊到了傳教士利瑪竇。焦竑送給徐光啟一份世界地圖作為見面禮物，令徐光啟愛不釋手。
徐光啟得到的這張世界地圖，最初稱為《山海輿地圖》，又稱為《輿地山海全圖》，是利瑪竇于萬歷十二年（1584年）繪制的，是中國最早引進的新型世界地圖。萬歷二十八年（1600年）應南京官員之請，利瑪竇重新修訂了這幅地圖，并把它翻刻出來，在南京士人中流傳。
這幅地圖是以意大利米蘭安布洛茲圖書館所藏世界地圖為底本繪制的。地圖上面明確標示出地球是圓的，圖中繪有經緯度、赤道、五帶，并正式介紹了五大洲的輪廓。地名都翻譯成了漢語，還酌量附加了有關地理、物產等方面的說明。這張地圖給當時的中國人一個全新的觀念：地球是球形的，懸在空中，上下都有人居?。恢袊幱谝粔K大陸之上，中國之外還有許多土地和許多國家。當時距哥倫布發現新大陸已有八十余年，周游地球的人已為數不少。而包括徐光啟在內的絕大多數中國人仍遵循傳統，認為整個世界是“天圓地方”的，明朝在世界中央，是唯一的“天朝大國”。利瑪竇的這張世界地圖，讓中國許多思想開明的知識分子開始睜開眼睛，注目世界。
徐光啟看到這幅地圖，頓感耳目一新，眼界大開，對五大洲的分布，對世界各國的疆域有了較為清楚的了解，從而激發了他了解西方、尋找科學真理的愿望。再加上他在廣東韶州教書時已聽說過利瑪竇，便決心趁這次來到南京的機會，上門拜訪這位外國傳教士。結果兩人一見如故。利瑪竇室內琳瑯滿目的擺設、各種奇形怪狀的科學儀器深深吸引了徐光啟。兩個人從天文到地理，從日食、月食到經緯度，從數學到繪圖學，談得十分投機，利瑪竇還時不時穿插講一些天主教的教義。雖然徐光啟這時還沒有下決心入教，但已深深地被這位年長他十歲的傳教士吸引住了，成為他日后回鄉時仍念念不忘的記憶。
三年后，徐光啟又一次到南京專程拜訪利瑪竇，可不巧的是，利瑪竇已上北京了，另一位傳教士羅如望熱情地接待了徐光啟。羅如望認真而又虔誠地向徐光啟解說了天主教的教義，并送給他兩本利瑪竇寫的書：《天主實義》和《天主十誡》。在這兩本書中，利瑪竇從中國古代典籍中找到一些關于“上帝”的記載，并“證明”此“上帝”與“天主”是同義詞，以此來更有效地勸說中國的讀書人入教。徐光啟讀完這兩本書后，表示愿意加入天主教。羅如望便為他行了洗禮，讓他成為正式的天主教徒，取教名為“保祿”。這樣，徐光啟與傳教士的關系更加密切了，他吸收西方先進科學思想的方便之門也打開了。
萬歷三十二年（1604年）徐光啟來到北京參加會試，考上了進士，又通過幾次分配性的考試，進入翰林院做了庶吉士。要知道，翰林院在當時可是培養高級官員的地方。除了考取進士的前三名——狀元、榜眼、探花可以直接進入翰林院做官外，其他進士還得通過考試，成績優異的才能入翰林院，稱為“庶吉士”，類似于現在的研究生。他們還需要在翰林院讀三年書，定期做文章。三年學成，經過考試，成績優良的便可分配到重要的官職，前途不可限量。
進入翰林院的徐光啟，生活和學習條件得到了大大的改善，不必為養家糊口而東奔西走。他把自己旺盛的精力投入到學習中，學那些“治國平天下”的學問，學那些富國強兵的經世致用之學。同時，思想敏銳的徐光啟，決定利用利瑪竇也在北京的機會，向他請教西方的科學技術。
徐光啟在翰林院攻讀之余，常常徒步到利瑪竇的住處去，向他請教西方科學，求學態度十分真誠。后來，徐光啟索性在教堂邊租了一間房子住，以便于向利瑪竇請教。他在翰林院當庶吉士這三年，幾乎天天與利瑪竇見面討論學問。除了天主教教義，二人談得最多的便是西方的科學技術發展情況。徐光啟向利瑪竇學習的范圍很廣，西洋的天文、歷法、數學、火器，甚至西方邏輯學等，只要是利瑪竇能教的，他都有興趣學習。徐光啟把利瑪竇的學問歸納為兩大類，大的是“修身事天”，即關于天主教教義的知識；小的是“格物窮理”，實際上是指自然科學知識，徐光啟稱之為“小學”，從后者又派生出數學。徐光啟自稱竭盡全力“傳其小者”，可見他的主要興趣，仍是在西方的自然科學。
在與利瑪竇交談的過程中，徐光啟認識到了數學在眾多學問中的重要作用。他認為，有了數學做根基，別的科學研究都會觸類旁通。他打了個比方：“數學好比工人蓋房子時用的斧頭和尺子，而天文、歷法等其他科學知識猶如蓋房子時用的其他器具，倘若連斧子、尺子都還沒有，其他器具的使用，便無從談起了。”所以，徐光啟主張先翻譯西方的一本基礎性的數學讀本，幾經考慮，他最終選擇了《幾何原本》，并認為：“此書未譯，則他書俱不可得論?！?
為什么會選擇這本書呢？原來《幾何原本》是古希臘的一部數學教科書，公元前三百年前后由古希臘數學家歐幾里得著成。這本書邏輯推理性強，結構科學嚴謹，集幾何學的大成，是對古希臘數學的總結和升華，在西方被認為是用數學書寫形式和思維訓練的經典著作。作為歐洲中世紀一本最流行的數學名著，《幾何原本》曾被譯為阿拉伯文、拉丁文等各種文字譯本，是世界上除了《圣經》之外被翻譯得最多的一種著作。利瑪竇在羅馬神學院的老師、德國數學家克拉維曾將拉丁文本加以注釋說明，題為《歐幾里得原本》。利瑪竇帶到北京來的，就是這本。
利瑪竇初到中國之時，就有過要翻譯《幾何原本》的念頭，但礙于困難，數次動筆又數次停筆，深知其中的甘苦。當徐光啟提出要翻譯此書時，利瑪竇詳細敘述了翻譯的實際困難和自己的幾次失敗經過。他告訴徐光啟：中國和西方語法不同，詞匯不同，首次翻譯拉丁文的數學書，許多專用名詞在漢語中都沒有現成的，無成規可循。利瑪竇認為自己的漢語底子雖然不錯，照著原本宣講，還勉強可以講明白，但要逐字逐句地翻譯，就非?；逎?，讓人很難理解了。
面對猶豫不決的利瑪竇，徐光啟信心十足地說：“我們的祖先有一句名言：‘一物不知，儒者之恥’。既然我知道世界上有這本書，又遇到你這位老師可以隨時請教，怎么能知難而退，讓這本書在我輩手中失傳呢？”他還豪邁地表示，“如果害怕困難，困難就會越來越大；迎著困難而上，困難反而會越來越小，只要不怕困難，這本書一定可以翻譯成功?！痹谛旃鈫⒌脑偃埱笙拢敻]終于同意合作翻譯《幾何原本》了。
萬歷三十四年（1606年）秋，二人正式合作譯書。徐光啟每天下午三四點鐘完成翰林院的功課之后，就會趕到利瑪竇那里，風雨無阻。利瑪竇一句句地講解著書上的內容，有時，他還要停頓下來，皺著眉頭，為尋找合適的說法而對書沉思。徐光啟則一句句地記錄，遇到不明白的地方，還要虛心地詢問。北京秋冬的夜晚，又長又冷，但二人的室內常常出現熱烈討論的場面。許多數學上的專用名詞，如直角、銳角、鈍角等，在漢語中原本是沒有的，經過兩個人多次推敲，才確定下來。許多章節，兩個人都反復重譯，力求文字準確妥帖，通俗易懂。直到夜深了，徐光啟才冒著凜冽的寒風，帶著譯稿回家，此時的街上已萬籟俱寂。回到自己的寓所之后，徐光啟還要再把當天的譯稿加以整理、修改、潤色，不知不覺已工作到半夜。
時光流逝，轉眼間已到第二年的春天，徐光啟與利瑪竇合作譯完了《幾何原本》的前六卷。初稿譯出后，徐光啟不顧勞累，又修改了兩遍。這樣，從萬歷三十四年（1606年）到萬歷三十五年（1607年），經過近一年的努力，三易其稿，徐光啟終于用明快流暢的文字完成了翻譯前六卷的工作。按照徐光啟的想法，還要與利瑪竇合作譯完全書。但利瑪竇忙于傳教，抽不出時間，他建議把譯好的前六卷先刻印出來，聽聽各方面讀后的反應，再繼續翻譯也不遲。同時，徐光啟也考慮到自己在翰林院任庶吉士的三年期限將滿，會面臨一次分配官職的重大考試，需要時間精心準備，也就同意了利瑪竇的提議。于是，兩個人各寫了一篇序，刻板付印。利瑪竇寫的序介紹了歐幾里得，對翻譯這本書的經過也有所敘述。徐光啟寫的序，以他淵博的自然科學知識，正確地估計了數學的價值，第一次向中國科學界說明了幾何學的本質，并向中國的知識分子大力推薦這本書。
《幾何原本》的這份中譯本，可以說譯得相當成功。我國近代著名學者梁啟超曾稱贊該書：“字字精金美玉，是千古不朽之作?！蹦眠@本書的題目來說，它的拉丁文譯本原稱為《歐幾里得原本》。歐幾里得是人名，但如果直譯為《原本》則不像一部數學書的名字。徐光啟創造性地加了“幾何”一詞，成為《幾何原本》。幾何，是漢語固有的詞匯，原來只是一個虛詞，徐光啟借用它來代指一切度數之學。經徐光啟使用后，至今已成為數學上的專用名詞。其他如點、線、面、平行線、直角、鈍角、銳角、三角形、四邊形等等，都由徐光啟使用后確定下來。徐光啟創造的這一套數學名詞、術語，十分切合它們本身的意義，所以很多為后世所采用。
徐光啟為翻譯《幾何原本》所傾注的巨大熱情，表現了這個博學的科學家的慧眼。他認為這本書體現出來的邏輯推理的說服力和科學結構的嚴謹性，能彌補中國古代數學理論的不足。他為此寫了《幾何原本雜議》，大聲疾呼：“能精此書者，無一事不可精；好學此書者，無一事不可學。”他還斷言，百年之后，必定人人都要競相學習，而且一定會后悔學得太遲了。他的話在后代有了應驗。清代中葉，當我國知識界掀起向西方科學學習的熱潮時，《幾何原本》成為新辦洋學堂的數學課本。清代數學家李善蘭和英國傳教士偉烈亞力又合譯了該書的后九卷，此書得以完備，其溝通中西文化的重要作用得以更加凸顯。
除了合譯《幾何原本》外，徐光啟和利瑪竇在數學領域合作的另一成果是《測量法義》一書。顧名思義，這本書是一本用幾何方法講述如何測量事物的高深廣遠的書。原稿是利瑪竇在十多年前編成的，只有一些關于測量方法的說明，不成系統?！稁缀卧尽穯柺乐螅旃鈫⒂X得有必要參考中西方幾何學的方法，重新整理這部草稿。于是，徐光啟從萬歷三十五年（1607年）開始著手整理修訂這些草稿，大約到了萬歷三十六年（1608年），《測量法義》成為定稿。這部書最可貴之處，在于徐光啟把我國古代數學名著《九章算術》和《周髀算經》中提到的傳統數學測量方法，和古希臘數學之祖歐幾里得的西方測量方法有機地結合起來，這是中西文化交流的又一項成果。
繼《測量法義》之后，徐光啟還受《幾何原本》的啟發，編寫了《測量異同》和《勾股義》兩部數學著作。在這兩本書中，徐光啟指出，中國傳統的測量法，只說出結論如何如何，而沒有說明為什么會有這樣的結論，而且崇尚空談的社會風氣已使當時的數學研究大大停滯了。所以徐光啟力圖用《幾何原本》中嚴密的理論體系，去說明中國傳統數學著作中的道理，把中國和西方的數學傳統，進行了比較研究。可以說，這是一項很有意義的創造性勞動，這種中西方法融會貫通的研究，使我國的數學研究水平大大提高了。
更為難能可貴的是，徐光啟的目光不僅僅停留在書本的理論上，他還富有遠見地認為中西匯通的測量方法將是治理農田、開發水利的一項法寶。這個開中國風氣之先的說法，果然在若干年后，促進了農業的發展，收到了巨大的經濟效益。