西汉前期，在处理与匈奴的关系中，朝廷一直采取和亲政策对匈奴忍让，企图换取边境的暂时安宁，可是匈奴却不知好歹，连年进扰边境，抢掠人口牲畜，汉武帝在多次取得了抗击匈奴的胜利之后，便想通过互派使臣与匈奴修好。
公元前100年，汉武帝派中郎将苏武为正史，副中郎将张胜为副使，拿着旌节（顶端缀有牦牛尾的一种符节），带着助手常惠和一百多名士兵，以及许多金银绸缎等礼物，护送以前扣留下来的全部匈奴使者，出使匈奴。
苏武到了匈奴，把匈奴使者交还给了单于并且送上礼物，匈奴单于见到汉朝使者送来那么多礼物，反而骄横起来。苏武为了维持双方的友好关系，尽量耐着性子跟单于打交道，准备完成任务后快点返回汉朝。
正在苏武准备回汉朝的时候，一件意外的事情发生了。原来早在苏武出使匈奴之前，汉朝使者卫律就投降了匈奴，并且死心塌地的为单于出谋划策，可是卫律的部下有个叫虞常的人，是个忠于汉朝的血性汉子，他本来认识苏武的副使张胜，就暗中和张胜商量除掉叛徒卫律。张胜很赞成虞常的打算，并资助他一些财物，但计谋泄露了，虞常被单于逮捕，交给卫律审问。
卫律把虞常杀死，以此来威胁苏武，，张胜害怕了，跪下投降，并承认了与虞常同某，于是卫律劝苏武也投降，他举着宝剑对孙武说：“你不投降，我就杀了你！”苏武面不改色的迎上去道：“你胆敢杀了我，汉朝定会发兵荡平匈奴，你也会死无葬身之地。”卫律看孙武那样镇定，知道用武力吓不倒他，只好向单于报告。
单于听说苏武这样坚定，就更希望他投降，并让卫律用好言去劝苏武投降。孙武听到卫律劝他投降匈奴的话之后，怒气冲冲的说：“卫律，你这个无耻之徒，你背叛了父母，背叛了朝廷，还有什么脸面来同我说话！”卫律碰了一鼻子灰，只好向单于报告，单于便让苏武，待在地窖里，也不给他饮食，逼他屈服。苏武忍饥挨饿，渴了就捧上一把雪止渴，饿了就扯一把一些草皮什么的啃着充饥，过了几天，单于见折磨他也没有用，只好把他放出来，说要封他为王。
苏武说什么也不答应，单于只好又把他送到北海（今贝加尔湖边）去放羊，还说等公羊生了小羊，就放他回来，公羊怎么可能生小羊？单于这么说无非是想长期监禁孙武罢了。孙武到了北海边，身旁什么人都没有，和他作伴的只有那一群公羊和那根代表汉朝的旌节，苏武拿着那根旌节从不离手，连晚上睡觉也搂在怀里，他总想着有一天，拿着旌节回到自己的国家。挨饿受冻练就了他的铮铮铁骨，孙武在北海一呆就是19个年头，汉武帝死后，汉昭帝即位，匈奴又跟汉朝朝廷议和。
于是汉朝向匈奴提出，要求放回苏武等被匈奴扣押的汉朝使者，苏武出使的时候是个壮年汉子，他在匈奴度过了十九年异常艰苦的岁月，回来时已经是个须发全白的老人了。他坚强不屈不怕磨难，永不失节的非凡事迹轰动了朝野上下，无论是做官的还是普通百姓，一提起苏武没有一个不钦佩他的。
苏武持节牧羊的故事也一直被传为千古美谈。