[scrapy] laracasts爬虫

购买了1个月的laracasts.com的帐号，又怕有的时候没时间看，所以就都抓取下来。

  1. 将标题，描述都保存到mysql数据库
  2. 将视频下载到本地
CREATE TABLE `laracasts_lessons` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `title` varchar(255) NOT NULL DEFAULT '',
  `downlink` varchar(255) NOT NULL DEFAULT '',
  `description` text NOT NULL,
  `path` varchar(255) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

这里说一下流程，代码就不贴出来了，有需要的可以下载附件。请先修改文件内的数据库用户名密码，和laracasts的账户，再执行./laracasts.sh

登录 -> 遍历列表页面 -> 遍历课程页面 -> 获取信息 -> 下载视频 -> 保存到MySQL

laracasts.zip

标签: none

已有 5 条评论

  1. 天空 天空

    你有laracasts的优惠券吗

    回复
    1. 小子 小子

      没有哦

      回复
  2. Ck14 Ck14

    这这，不太合适吧，违反laracasts的使用条约啊。别的不说了，好歹把脚本的链接去了吧，楼主也许只是自己看，保不齐别人抓下来之后用于商业目的呢。

    回复
    1. 小子 小子

      Laracasts改版 N 次，这个早就不能用了。仅供学习~

      回复
  3. 阿维卡 阿维卡

    wow,牛X，高大上。。

    回复

添加新评论