永初五年（公元111年），漢安帝下詔，讓中央和地方大臣舉薦一名有道德、有才能的人到京城里做官，當時任大司農的鮑德便舉薦了張衡。漢安帝對張衡的才學也早有所聞，于是“公車特征”，把張衡接到京城洛陽，拜為“郎中”。

因此官并不費力，故張衡在公事之余開始研究《太玄經》等天文學，探討天地的結構。

天地究竟是怎樣的呢？當時有兩種解釋，一是蓋天說，一是渾天說。

蓋天說是一種很古老的學說，認為天是圓的，地是方的，天就像一口大鍋，把地扣在里面。后來為了合理地解釋日月星辰的出沒等天象，人們又把“天圓地方”說做了幾次修正，制造出一套“七衡六間”令人難以捉摸的理論，但天蓋在地上的基本認識并沒有改變。

渾天說是一種新興的學說，據說是西漢時期的天文學家落下閎提出來的，主張天包著地，天一半在地上，一半在地下。這種學說解釋天象比蓋天說方便。比如晚上為什么看不見太陽？利用渾天說就能做出圓滿的解釋。但有時也會使渾天說陷入難堪的境地，如太陽和月亮是怎樣轉入地下的呢？渾天說就解釋不通了。再加上蓋天說比較符合人們的直觀感覺，所以在渾、蓋之爭中，蓋天說往往占上風。

張衡在前人研究的基礎上詳細研究了這兩種學說，最后認為渾天說比較合理。他對渾天說加以修正發揮，使渾天說成了當時最圓滿的一種天體結構學說。

漢安帝聽說張衡在天文上有高深的造詣，便于元初二年（公元115年），任命張衡為太史令。

張衡接任太史令以后，立即來到坐落在洛陽平昌門南的靈臺（即為當時的天文臺）。這座靈臺是光武中元元年（公元56年）建造的，高九丈，周圍20丈，占地達4400平方米，有12個門，上下兩層平臺，平臺間有坡道相連，氣勢雄偉壯觀。這里的總領導者是靈臺丞，屬太史令管轄。下面有候氣的，候風的，候星的，候日的等40多人，機構龐大，分工細密。

很快，張衡就發現，靈臺的建筑雖然雄偉，但觀天象的儀器卻很陳舊，年久失修，不堪應用。他決定重新修造，特別是渾天儀，這是形象地體現渾天學說的一種重要的天文儀器，更應該好好地加以修改研制。

“渾天儀”，類似于現在的天球儀，用精銅鑄成，主體是一個球體，代表天球。球體可以繞天軸轉動。天軸和球面有兩個交點，一個是北天極，一個是南天極，在球的表面上列有28星宿和其他恒星。

球面上還有天球赤道圈和黃道圈，二者成24°夾角，分列有24節氣。球體外面有兩圓環，一個是地平圈，一個是子午圈（通過南北天極和天頂的圓環）。天軸支架在子午圈上，和地平圈斜交成36°角，這也是渾天儀坐落處的洛陽地區的北極仰角及地理緯度。

歷史上記載制造渾象最早的是西漢宣帝時的大司農中丞耿壽昌（公元前73～公元前49年），至于他造的渾象是什么樣子，史書上沒有留下任何記載。大概只是一個刻滿星辰的大圓球，用人力轉動圓球，就可以演示不同的天象。

張衡就在耿壽昌的基礎上開始了辛勤地研究制造新的渾天儀的工作。他花了一年的時間，先做模型進行試驗。模型是用竹子做的。他把竹子劈開，刮削成簿簿的竹蔑，在竹蔑上刻上度數，然后彎成圓環，用細針穿連起來，這樣，一個簡易的渾象模型就造成了。張衡把這個模型叫做“小渾”。他利用這個模型對照著天象，不斷試驗，不斷調整模型的構造和竹蔑上的刻度，直到完全滿意了，才叫人用精銅鑄成正式儀器。

儀器制成了，為了使儀器自動運轉，張衡叫人鑄造了兩把銅壺，壺底開孔，又巧妙地利用齒輪系統跟渾象聯系起來。銅壺里注滿水，水從壺底孔里流出，推動齒輪轉動，轉動的齒輪又帶動渾象繞軸轉動。張衡前后花了一兩年的時間，到公元117年（安帝元初四年），一架用水力推動，可以自行運轉的渾天儀終于誕生了！

張衡的渾天儀驚動了京都的學者，他們紛紛來到太史令官邸，爭先恐后地參觀張衡的杰作。渾天儀在制造房里放著。一走進制造房，就會看到在房子正中有一個直徑足有四尺多的大銅球，放在一個精制的架子上，鋼球上鑄著二八八宿中外星官，閃光耀眼。銅球外面還有幾道銅圇，加上復雜的漏水轉動裝置，氣勢磅礴，令人贊嘆不已。銅球在漏壺的推動下緩緩地轉動著。

學者們對渾天儀這巧妙的構造很是驚奇，但對其是否能準確地演示天象表示懷疑。有一位學者問張衡：“張太史，是否讓它演示一下？”

張衡說：“我正想請各位大人鑒定一下儀器是否精確呢？天黑以后，可以把門窗關嚴，讓屋里的人看不到外邊的星空。你們可以分成兩組，一組在屋里看著儀器，不斷向外面報告儀器上所表示的天象情況，一組在屋外觀察星空，看是否和屋里儀器上的情況相符。”

學者們很高興，按照張衡的部署很快安排停當。

入夜，晴朗的夜空繁星點點。不一會兒，屋里的人報告說：“月亮正在升起。”屋外的人也看到東南方向升起一彎明月。接著屋里的人又不斷報告：某星已升起，某星已到中天，某星轉入地下……，皆與屋外人看到的實際天象相合。

試驗完畢，屋內外的人一起把張衡圍了起來，紛紛向他祝賀，稱贊道：“這真是巧奪天工的偉大發明啊！”