5044人阅读
& & &日15:26:16 说明: &有些网友发私信或在资源下留言问现在为什么无法抓取百度音乐排行榜了，是不是源代码有问题或代码不全面。
& & &首先感谢你的关注，其次想说这个小工具仅仅是通过抓取百度音乐页面来展示一下C#抓取网页的效果，代码简单的不能再简单了。百度音乐页面结构一直在调整，现在工具无法分析百度音乐排行榜是正常的，有兴趣的同学自己改一下XPATH语句就可以了。
最近对爬虫比较感兴趣。刚上手C#。于是想试试用C#实现一个爬虫，获取百度音乐的下载地址。本文没什么技术含量。只是个人兴趣，所以不厌其烦写下过程，让有兴趣的做一个参考。
&&&& 如图 百度音乐的首页
我以抓取新歌Top100这个榜单上的10首歌的下载地址为例说一下整个过程。
它对应的源代码是
这里我们看到在歌曲的名字上有一个超链接。”/song/”& 实际上是指向这首歌的歌词和基本信息的页面。注意&a& 标签中有一个sid值也是
& & & 进入下载页面后， 打开的是
& & &这里假设所有歌曲的下载页面地址是 &/song/歌曲的sid/download
& & 依次查看了其他几首歌的下载页面，基本可以确定是这样了。
& & 接着我们看源代码
& & & & 下载按钮对应了一个超链接。点击这个链接，浏览器就直接跳出了下载的文件。
& & & &实际上歌曲的地址就是那个 link= 后面的地址
& & & &这个是可以通过迅雷-新建任务 来下载的。
那么我们的流程是
1&&& 解析百度音乐主页获取到具体一首歌的 sid 值
2&&& 根据sid值就能找到对应的歌曲下载页面
3&&& 解析歌曲下载页面 找到下载按钮对应的超链接
4&&& 取超链接的link后面的地址作为最终有效的下载地址
5&&& 保存有效下载地址 并输出为txt文本
6&&& 将txt文本内容通过迅雷新建任务实现下载
7&&& 收工。
& & & & &整个流程的思路搞清楚了。可以开始准备动手编码了。
& & & &编码之前。要考虑一个问题。网页内容的加载，用什么，解析用什么。之前在写QQ空间日志下载的时候，是用C++实现的。下载网页，内容解析完全是基于字符串的操作。如果现在还用字符串查找，再搜索，截断这种原始的操作一定会崩溃的。
& & & & 在网上找到一个口碑极好的C# dll，HtmlAgilityPack.dll，用它来下载网页并转换为节点进行操作，个中强大非三言两语能说完。
& & & & & HtmlAgilityPack.DLL是基于XPath操作的。XPath的简介和语法见&&
& & & &&现在基于XPath的基础上，再看一遍主页的源代码
这次我们着重看这个节点的分布。
用XPath来描述新歌Top100里面的内容，就是
./html[1]/body[1]/div[4]/div[1]/div[1]/div[2]/div[3]/div[1]/div[1]&
& & & & 如果不知道它代表什么意思，看起来就有些诡异。实际上它的意思就是 html标签下面的第一个body标签下面的第四个div如此类推。
& & & &为了分析html和xpath之间的关系。我又单独写了一个XPath分析工具可以查看到这样的效果
这个意思就是提取出
. ./html[1]/body[1]/div[4]/div[1]/div[1]/div[2]/div[3]/div[1]/div[1]&节点下面 &a&标签中的所有 sid&
假设sid就是
&那么下载页面就是
/song//download &要找这个页面中的下载按钮对应的超链接，可以用Xpath表达式 &再提取出其中的a标签的href属性值 就能得到包含歌曲下载地址的字符串了
在工具中查看
./html[1]/body[1]/div[1]/div[2]
中a标签的title就能得到歌手名和歌曲名了
在工具中查看 &./html[1]/body[1]/div[1]/div[4] & &中a标签的href值
得到a标签中的href属性了，再进行第4步操作。就是只截取link后面的地址。这个截取的操作可以用字符串的截断。为了保险起见，以后可能会有更复杂的字符操作，于是用了C#的正则表达式。菜鸟一个，百度N久，写出一个表达式匹配出来的网址有重复，于是再次动用字符比对，去掉重复。最终的效果如图。
一键复制到迅雷中新建任务
就是有一点不是很爽。就是下载的文件都是默认的文件名。根本分不清楚那首歌是哪个唱的。
最后还有一点就是最终得到的地址如下面的，似乎只在某一个时间段内有效。过了之后就没效果了。所以这个链接必须是实时生成的。
/data2/music/861128.mp3?xcode=579310cfec023f9306edad312dee4049
/data2/music/28.mp3?xcode=579310cfec023f93ea3e51c
/data2/music/8.mp3?xcode=579310cfec023f93ea3e51c
/data2/music/28.mp3?xcode=579310cfec023f93ea3e51c
/data2/music/461128.mp3?xcode=579310cfec023f93ea3e51c
/data2/music/28.mp3?xcode=579310cfec023f93d1bb0f
/data2/music/28.mp3?xcode=579310cfec023f93d1bb0f
/data2/music/461128.mp3?xcode=579310cfec023f93d1bb0f
/data2/music/861128.mp3?xcode=579310cfec023f93d1bb0f
/data2/music/8.mp3?xcode=579310cfec023f93d1bb0f
先写到这里。明天就接着贴代码
版权声明：本文为博主原创文章，未经博主允许不得转载。
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：433453次
积分：4801
积分：4801
排名：第2936名
原创：74篇
转载：166篇
评论：134条
(1)(4)(1)(4)(3)(3)(1)(1)(20)(1)(4)(1)(5)(2)(6)(1)(4)(3)(1)(1)(3)(25)(10)(1)(16)(9)(3)(7)(46)(7)(26)(20)
/staticjs/weiboshow.swf?verifier=a63d6d67&uid=&width=230&height=500&fansRow=2&isTitle=1&isWeibo=1&isFans=1&noborder=0&ptype=1&colors=cfe1f3,fafcff,3d5太极音乐网注明：
1)本站部分太极音乐资源来自互联网，有可能会出现不能下载的现象。部分音乐末尾带有本站广告，若需去掉请加QQ：壹三壹77叁五404。
2)若您目前下载到的太极音乐跟您锻炼时所用的不一样，请，太极音乐网工作人员将尽快帮助您解决。
3)本着分享发扬太极文化的原则，若本太极音乐的来源是贵网站，您不愿分享此资源，请联系我们删除。谢谢！
您或许对下列文章感兴趣——
急需杨氏太极拳口令音乐版32，88,40,42,48式和太极剑 32,42,56式 均是mp3 格式，家里老人急需，谢谢！
我想恳求易筋经，五禽戏，八段锦的音乐无口令的，不知能不能有？
太极剑四十二式纯音乐，一月十号之前，谢谢
我需要1、易鹏的73式孙式太极拳竞赛套路背面演示伴奏音乐（无口令），
2、易鹏的73式孙式太极拳竞赛套路背面演示伴奏音乐（带口令），请发至我的邮箱。
我需要一些音乐以及顺序：1：八段锦口令音乐2:：8式太极拳口令音乐3：24式太极拳口令音乐4:32式太极拳口令音乐5：40式太极拳口令音乐6：42式太极拳口令音乐7:48式太极拳口令音乐8：85式太极拳口令音乐一共8个都是需要口令的谢谢吴保祥 于
20:40:19 回复我还没有收到，耐心等待，每天看邮箱，谢谢，你们辛苦了。吴保祥
谢谢你们，我今天才知道有一个这么好的网站。
太好了，方便了我们这些没文化的老年人！
我急需这套扇子的音乐口令，还刚学就得表演，谢谢你们帮帮我。
请求85式太极拳梁祝伴奏音乐《不带口令》
武当剑和武当太极拳的音乐口令很好，可以帮助我们提高太极的水平。希望能得到武当剑。武当太极拳的音乐口令MP3 。有劳您能给发到我的邮箱里为感！谢谢！goodaoqi
请帮忙给传一个正规的“健康气功六字诀”的口令
求太极八宝连环剑的音乐
我要学习太极八宝连环剑
请给我一段音乐
求：李德印8式太极剑有口令音乐MP3格式李德印16式太极剑有口令音乐MP3格式李德印24式太极拳有口令音乐MP3格式李德印32式太极剑有口令音乐MP3格式李德印42式太极拳有口令音乐MP3格式李德印48式太极拳有口令音乐MP3格式谢谢了。按照这样的顺序发给我好嘛？
我要太极拳加长版草原牧歌呀，你真太好了，会帮助人的人，一定会得到别人的帮助的，我的邮箱是
我喜欢这种帮助认得方式，我也可以帮助你做什么吗？请说请说，不要客气呀。
[URL][/URL]
我为找不到晨练下载的音乐口令很苦恼。我看到这相服务真是万分高兴！太棒了！非常感谢！！
你好，辛苦了，还在帮大家找音乐资料吗？
我需要36式太极刀MP3格式带口令和不带口令的音乐，还有88式42式太极拳MP3音乐最好有梁祝音乐的，谢谢
我要找：陈思坦32式太极拳视频
陈思坦32式太极拳视频
您好，需要A24式太极拳带名字不带口令
B48式太极拳带名字不带口令
C42式太极拳带名字不带口令请发送谢谢
我急需40式太极刀口令音乐和东岳太极刀一路口令音乐，希望发给我，谢谢
我需要24式简化太极拳和42式太极拳竞赛套路带口令音乐mp3; 32式和42式太极剑的带口令音乐mp3.谢谢你们为我们老年人做了一件好事
24式简化太极拳、42式太极拳竞赛套路带口令mp3音乐;
32式简化太极拳、42式太极拳竞赛套路带口令mp3.音乐。谢谢。你们做了一件好事。
需要125分钟加长版草原牧歌太极音乐，7月1日前
需要125分钟加长版草原牧歌
我需要太極拳二十四式，十六式太極劍和氣功十八式音乐口令． 謝謝！
26上面说的时间修改一下：希望在日前回复我。谢谢了！
我非常希望下载带口令的：24式简化太极拳、42式太极拳（竞赛套路）、太极功夫扇、八段锦、32式太极剑、42式太极剑。希望在日前回复我。谢谢了！
这个网站太好了，方便了广大太极拳爱好者和拳友。谢谢！你们辛苦了。
我需要带口令的伴奏音乐24式简化太极拳，42式我需要：24式简化太极拳，42式太极拳我需要：24式简化太极拳，42式太极拳（竞赛套路），48式太极拳，杨式40式太极拳，32式太极剑，42式太极剑，杨氏56式太极剑，武当太极剑，带 口令版的伴奏音乐。时间要短点的。时间长的动作太慢我们年纪大的人站不住。谢谢。
您好，我想给我妈找太极气功十八式音乐带口令的全套。谢谢andyng_
73式孙式太极拳音乐（口令版），龙凤双剑音乐，太极柔力球（共5套）
求42式太极剑（竞赛套路），吴阿敏或林寰姣演习的口令音乐
谢谢，请帮助。
请帮忙，谢谢。
qq号：需要太极气功十八式第一套、第二套机第三套mp3格式的口令音乐，请提供。谢谢！
求太极气功十八式的第一 、第二 和第三套的mp3口令音乐。 谢谢！qq号：
老妈每天练习太极拳，恳求以下套路的“音乐MP3带口令”——1、李德印24式、32式、40式、42式、48式、太极拳。太极剑32式、42式。武当剑49式、56式。杨氏太极剑56式。若可以收集得到，麻烦发送到本人邮箱。衷心感谢之至！！！
求，八段锦，五擒戏，太极拳24，42，48，40。太极剑32，42，武当太极剑，舒怀剑，太极刀36以上要有口令的。华武太极剑38，木兰剑，陈式56太极剑，养生太极掌1，2，3曲成万物 于
18:28:48 回复需要不带口令的 ：8式，24式（最好是《正月梅花》），42式（《红梅赞》《湖山一览图》《松竹多情》）、48式纯音乐，陈氏56式，武氏46式，陈氏24式，沙式的《疏梅弄影》；初级剑，32式剑，42式剑，武当三丰55式剑等音乐。另如有适宜打拳的《十运会气功表演曲》、《山野幽居》、《琵琶词》、屠洪纲的《霸王别姬》曲，也望一并赐发。多谢。
我要太极拳音乐MP3不带口令，带报名字《多少拳多少拳的》比如说24拳
起势完了就是音乐的。要李德印的
42竞赛拳 48拳 32剑 42剑 武当太极剑。
需要八段绵和五禽戏MP3口令
急需杨式56式太极剑张洁演练的音乐MP3万谢taijimp3 于
1:35:48 回复这位网友您好，我们正在准备本音乐，后续会邮件发给您并发布在太极音乐网上，敬请关注。
急需杨式56太极剑张洁演练的音乐MP3谢万谢
龙人；我需要太极拳24式、42式、48式、88式、太极工夫扇一路、四维太极扇、杨丽73式杨式太极扇、马春喜的陈式太极扇。32式太极剑、42式太极剑、56式杨式太极剑、32式陈太极剑。都不要口令。请配发常用音乐全套。再请配发一套午曲或者是歌曲音乐。taijimp3 于
1:33:32 回复这位网友，首先感谢您对太极音乐网的关注和支持，您需要的内容相比之下有点多，我们需要一定的时间整理， 您看这样好吗？您需要的大部分音乐，我们太极音乐网都有可以直接下载的，你看是否先在太极音乐网里头搜索一下？余下的我们再帮忙补上。
我需要上海黄浦区老年人体育协会的太极拳带口令MP3 40式 42式 48式 24式最好是满足上述条件 姥姥要很老的磁带里面的那种 如实在难找 你把手头里面的都发来 谢谢你了~~taijimp3 于
1:37:49 回复这位网友，由于条件的局限，我们不能到实地去采集音乐。上海黄浦区老年人体育协会在优酷或者土豆上是否有相关的视频？能否发链接地址过来？这样我们才能够更好得帮你录制，谢谢！难鸣 于
12:35:33 回复首先感谢您！我们需要：32式太极拳，64式陈氏太极拳音乐。我的QQ号难鸣 于
12:38:06 回复急需：32式，64式陈氏太极拳音乐。谢谢你们的帮助！我的QQ号
有这个太极拳音乐网太好了，我需要24
48 式太极拳口令音乐，能给我发一下吗？太极音乐网 于
23:08:26 回复这位网友您好，您要的太极拳口令音乐已经发到您的Qq邮箱，请查收。感谢您对太极音乐网的支持！
你好：我需要1、李德印24式、42式、48式口令音乐，麻烦发给我好吗？我的邮箱是
我需要一个一剪梅音乐口令的舒怀剑晨练曲，那位好心人有，能给发一个吗？非常感谢！太极音乐网 于
23:10:07 回复这位网友，一剪梅音乐口令的舒怀剑晨练曲在这里有下载： /taijijian/shu-huai-dan-jian-mp3.html
我爱人需要下载一剪梅音乐口令的舒怀剑，能给发一个来吗？谢谢！太极音乐网 于
0:42:21 回复这位拳友，我们正在准备中，到时将发送到你的邮箱。谢谢您对太极音乐网的支持！
急需：李德印太极拳8.16.24.32.40.42
口令 MP3格式音乐
李德印太极剑16.32.42口令 MP3格式音乐非常感谢
你好，我需要八段锦音乐口令，易筋经音乐口令， 24式（女声）32式（女声）42式48式太极拳音乐口令，32式太极剑（女声）音乐口令，均是mp3 格式，谢谢！
求广式48式太极双扇MP3，谢谢
为满足老爸老妈每天练习的需要，恳求以下套路的“音乐口令”——1、李德印24式、42式、48式、72式太极拳，五步拳，32式、42式49式太极剑，太极功夫扇（第一、第二套）；2、江玉兰养生太极掌（第一至第三套），42式太极单扇；3、胡翠群48式太极单扇，中华响扇（第一套）。若可以收集得到，麻烦发送到本人邮箱。衷心感谢之至！！！太极音乐网 于
22:41:40 回复感谢您对太极音乐网的关注和支持，^_^， 这些音乐的准备需要一段时间，我们搜集整理完之后，再通知您。
已有98位 太极音乐网拳友发表了评论，您还在犹豫什么？
记住我！下次评论时无须重新输入。
最新增加音乐
本月热门下载}