电影一开始，从画面外传来一段赵本山的二人转，镜头缓慢的掠过破旧的土瓦房，泥泞的村路以及满是灰尘的客运车，这就是人们生活的境况。小武留着那个时代流行的长发，戴着黑色的边框眼镜，整日在街头闲逛。他没有一技之长，以扒取别人的钱财为生。
但他内心仍然残存一丝良知。在拿走钞票后，他每次都将其中的身份证寄给当地的公安局。镜头一转，曾经和他一起闯荡江湖的靳小勇马上要结婚了，请了很多当年的伙伴，却不曾请他。

他感到困惑，久久凝视墙上“同富贵”的誓言，决定再偷了一笔钱送给小勇当彩礼。而已是当地著名企业家的靳小勇决心要告别不光辉的过去，拒绝接受他的彩礼。
小武愤愤的说道：“你他妈就是变了！”之后两人陷入长长的沉默之中。在此电影给了一个长长的镜头，最终以小武的离开暗示两人友情的终结。
失去友情的小武到歌厅排解心中的郁闷，遇见了歌女胡梅梅。她原是一名学生，为了自己的明星梦在外闯荡，但苦于无人赏识只能沦落到歌厅当陪唱。两个人由于由于相似的境遇而逐渐走在一起，同情彼此、相互取暖。
在胡梅梅问及自己的工作时，小武隐晦的回答：我是靠手艺吃饭。随即补充道：别人开歌厅、贩烟，我很笨。后面一句话流露出小武的内心想法。曾和自己混社会的靳小勇顺应时代的潮流，开歌厅、贩烟，成为人人钦羡的著名企业家。

而自己仍旧操着自己的旧业，难以适应社会的变化，日益被边缘化。他人都纷纷顺应时代而改变，而自己依旧坚持原有的原则，失去了和靳小勇的友情。
和吴梅梅在一起也许是他人生中最快乐的时光。沉默寡言的他为了博得女友一笑，在歌厅唱起那时的流行歌曲《心雨》。灯火迷乱，欢畅一时。似乎爱情抚平他内心的失落与迷茫，漂泊的浪子终于找到了归宿。
意外的爱情总是行色匆匆。这种建立在同情基础上的感情并不牢固。相对于很“笨”的小武，吴梅梅远为务实和冷静。
她知道和小武在一起只是由于天涯沦落人间的彼此怜悯。两个人都是社会中的边缘者，欢畅只可一时，不可长久。她不可能从小武那里得到她想要的东西。

在一天清晨，吴梅梅坐着某个富豪的小车离开了歌厅。而在此时，小武带着刚买的戒指来到歌厅，正准备送给吴梅梅当礼物。他幻想着吴梅梅收到礼物的高兴时心情以及他俩的未来。
残酷的现实又一次击碎了他的幻想。吴梅梅走了，没有一句留言。他的欢快表情逐渐僵硬、凝固，转而变得愤怒，他和歌厅的老板大吵了一架。这一切都无法挽回，一切都结束了，只留下了一个“很笨”的他以及愈加心灰意冷的心。
小武继失去友情后，又失去了爱情。
“很笨”他选择回家，把戒指送给自己的母亲。但家也不能给予他温暖。他的哥哥娶了一个家庭背景很好的城市姑娘。小武的父母为了讨好这个媳妇，要求小武和他的另外一个哥哥每人给三千块当彩礼。

这对于小武来说，根本不可能。他的父母看他俩不能凑齐这彩礼，继而把小武的戒指送给了这个媳妇当礼物。当小武看到戴在嫂子手上的戒指时，怒不可遏，跑去质问母亲自己的戒指在哪里。
结果却是被自己的父母以“忤逆不孝”的罪名赶了出来。就这样，“很笨”的他再一次失去了亲情。电影的末尾，小武在行窃时被人们发现，抓到警察局。一位警察在办事时把他锁在大街的电线杆旁。来往的行人围着他看，人越来越多，像是在观赏一场行刑。
小武难以忍受人们这样的注视，心情逐渐惶恐。他不由自主的蹲了下来，用手遮掩着自己的脸，企图挽回残存的一丝尊严。就这样，小武不仅失去了友情、爱情、亲情，最后还在众人的目光中失去了作为人的尊严。

“自拍了《小武》后，贾橡柯和王宏伟不断地把这个角色刻划地更加加腻他们创造了当代中国电形中最不可能有的角色，一个可笑、消沉的家伙，又很天真，随时食受到伤害，经受各种考验，他是这部充满智见和欲望的电影里的一个理想人物。这个小伙子在任何时候都显得很理解那些悄然而来的变化，这种态度非常令人感动，但他仍然会被这些变化所淹没。”
贾樟柯曾在接受采访时说道：我看到了没有发生在我身上的另一种生活。小武是我生命的一个延续，是另外一种选择。电影中，贾樟柯用不同青年人的遭遇来反映不同人做的不同抉择。
有些人像《小武》中的靳小勇顺应时代的发展潮流，抓住机遇，从一个扒手变成当地著名的企业家。随手一挥，就将几万块捐赠给当地希望工程。人人夸赞，人人钦羡。有些人遵循社会新的规则，通过教育或者婚姻融入到新的时代之中……
