他们沿塔里木河向西进发，途经库车、疏勒，翻越葱岭，历时十数日终抵大宛（今乌兹别克斯坦费尔干纳盆地）。艰难旅程中，不少使者因极端恶劣的沙漠环境而丧命，幸得堂邑父擅长狩猎，得以维持生存。
大宛国王在了解张骞等人的遭遇后，答应协助他们抵达大月氏。张骞感激不尽，许诺回国后会禀明汉武帝，回馈大宛丰厚的礼物和财宝。大宛国王久闻汉朝富饶强大，一直渴望与其建立友好关系，却碍于匈奴阻隔难以实现，张骞的到来无疑为大宛打开了一扇希望之门。不久，大宛国派出随从和翻译，陪伴张骞经过康居（今乌兹别克斯坦和塔吉克斯坦境内），在康居王的帮助下，他们最终到达了大月氏。
然而，当张骞向大月氏传达汉武帝的想法时，却遭到了拒绝。大月氏如今所居之地环境优越，远离乌孙和匈奴，和平生活使其忘却战争创伤，不愿再涉险夺回旧土；同时，大汉与大月氏之间遥远的距离意味着即使汉朝军队前来支援也需要长时间，而匈奴却随时可能发动袭击。张骞并未轻易放弃，他选择在大月氏逗留一年，试图说服大月氏国王，但终究未能达成联盟。
公元前128年，失望的张骞告别大月氏，踏上回归汉朝的漫长旅途。为了避免再次落入匈奴之手，他选择从塔里木盆地南部绕行，途经莎车、于阗（今和田）、鄯善（今若羌），直抵羌人的领地。不幸的是，羌人的土地也被匈奴占领，张骞及其部分使者再次被匈奴骑兵抓获，又被囚禁一年。
公元前126年，匈奴内部发生争斗，军臣单于去世，左谷蠡王伊稚斜与太子于单陷入冲突，张骞抓住这个混乱时机，携同堂邑父与妻儿成功逃脱，历经艰辛，终于返回了汉朝。
张骞此次出使西域，历时十三载，出发时百余人，归来仅剩张骞和堂邑父，其间遭遇了无数困苦磨难，包括长期被匈奴囚禁。虽然他未能完成汉武帝交付的联盟任务，但其壮举对西域与汉朝的关系产生了深远影响。自古以来，西域诸多民族由于地理遥远而与中原较少联系，张骞首次出使西域，将汉朝的信息传播至各地，促使西域各国与中原往来逐渐频繁。张骞回朝后，详尽报告了西域各国的位置、特产、城市及路线，为日后开辟丝绸之路奠定了重要基础，这也是关于西域地理风貌的第一份详尽记录。