modules/page-modes/youtube.js

   1 /**
   2  * (C) Copyright 2008 Jeremy Maitin-Shepard
   3  * (C) Copyright 2009-2011 John J. Foerch
   4  *
   5  * Use, modification, and distribution are subject to the terms specified in the
   6  * COPYING file.
   7 **/
   8
   9 in_module(null);
  10
  11 require("content-buffer.js");
  12 require("media.js");
  13
  14 var youtube_t_regexp = /"t": "([^"]+)"/;
  15 var youtube_title_regexp = /<meta name="title" content="([^"]+)">/;
  16
  17 function regexp_exec (regexp, string, group) {
  18     var res = regexp.exec(string);
  19     if (! res)
  20         return null;
  21     return res[group];
  22 }
  23
  24 function youtube_parse_video_info (info) {
  25     var sp = info.split("&");
  26     var res = {};
  27     for each (var kv in sp) {
  28         let [k, v] = kv.split("=");
  29         res[k] = decodeURIComponent(v);
  30     }
  31     if (! res.url_encoded_fmt_stream_map) {
  32         dumpln(dump_obj(res));
  33         return [];
  34     }
  35     var url_encoded_fmt_stream_map =
  36         res.url_encoded_fmt_stream_map.split(",");
  37     var data = [];
  38     for each (var chunk in url_encoded_fmt_stream_map) {
  39         var url = "", itag = "";
  40         var d = {};
  41         for each (kv in chunk.split("&")) {
  42             let [k, v] = kv.split("=");
  43             d[k] = decodeURIComponent(v);
  44         }
  45         data.push(d);
  46     }
  47     return data;
  48 }
  49
  50 function youtube_get_video_info (url, id, t) {
  51     for each (var el in ["profilepage", "detailpage"]) {
  52         var video_info_url =
  53             "http://www.youtube.com/get_video_info?&video_id="+
  54             encodeURIComponent(id)+"&el="+el+"&ps=default&eurl="+
  55             encodeURIComponent(url)+"&hl=en_US&t="+encodeURIComponent(t);
  56         var res = yield send_http_request({uri: video_info_url});
  57         if (res) {
  58             var info = youtube_parse_video_info(res.responseText);
  59             yield co_return(info);
  60         }
  61     }
  62 }
  63
  64 function youtube_scrape_text (results, frame, url, id, text) {
  65     var title = decodeURIComponent(regexp_exec(youtube_title_regexp, text, 1)
  66                                    || "video"+Date.now());
  67     var t = regexp_exec(youtube_t_regexp, text, 1);
  68     if (! t)
  69         yield co_return();
  70     var info = yield youtube_get_video_info(url, id, t);
  71     for each (var d in info) {
  72         var extension = mime_service.getPrimaryExtension(
  73             d.type, regexp_exec(/\/([^;]+)/, d.type, 1));
  74         results.push(load_spec({
  75             uri: d.url,
  76             title: title,
  77             filename_extension: extension,
  78             source_frame: frame,
  79             mime_type: d.type,
  80             description: d.quality + " " + extension
  81         }));
  82     }
  83 }
  84
  85 function youtube_scrape_buffer (buffer, results) {
  86     var url = buffer.current_uri.spec;
  87     var id = regexp_exec(youtube_mode.test, url, 1);
  88     if (! id)
  89         yield co_return();
  90     var text = buffer.document.documentElement.innerHTML;
  91     yield youtube_scrape_text(results, buffer.top_frame, url, id, text);
  92 }
  93
  94 function youtube_scrape_embedded (buffer, results) {
  95     const embedded_youtube_regexp = /^http:\/\/[a-zA-Z0-9\-.]+\.youtube\.com\/v\/([^?]*).*$/;
  96     for (let frame in frame_iterator(buffer.top_frame, buffer.focused_frame)) {
  97         // Look for embedded YouTube videos
  98         let obj_els = frame.document.getElementsByTagName("object");
  99         for (let i = 0; i < obj_els.length; ++i) {
 100             let obj_el = obj_els[i];
 101             let param_els = obj_el.getElementsByTagName("param");
 102             inner:
 103             for (let j = 0; j < param_els.length; ++j) {
 104                 let param_el = param_els[j];
 105                 let match;
 106                 if (param_el.getAttribute("name").toLowerCase() == "movie" &&
 107                     (match = embedded_youtube_regexp.exec(param_el.getAttribute("value"))) != null) {
 108                     try {
 109                         let id = match[1];
 110                         let lspec = load_spec({uri: "http://youtube.com/watch?v=" + id});
 111                         var result =
 112                             yield buffer.window.minibuffer.wait_for(
 113                                 "Requesting " + lspec.uri + "...",
 114                                 send_http_request(lspec));
 115                         let text = result.responseText;
 116                         if (text != null && text.length > 0)
 117                             yield youtube_scrape_text(results, frame, lspec.uri, id, text);
 118                     } catch (e if (e instanceof abort)) {
 119                         // Still allow other media scrapers to try even if the user aborted an http request,
 120                         // but don't continue looking for embedded youtube videos.
 121                         yield co_return();
 122                     } catch (e) {
 123                         // Some other error here means there was some problem with the request.
 124                         // We'll just ignore it.
 125                     }
 126                     break inner;
 127                 }
 128             }
 129         }
 130     }
 131 }
 132
 133 define_page_mode("youtube-mode",
 134     build_url_regexp($domain = /(?:[a-z]+\.)?youtube/,
 135                      $path = /watch\?(?:.*?&)?v=([A-Za-z0-9\-_]+)/),
 136     function enable (buffer) {
 137         media_setup_local_object_classes(buffer);
 138     },
 139     function disable (buffer) {}, //FIXME: uninstall scraper
 140     $display_name = "YouTube");
 141
 142 page_mode_activate(youtube_mode);
 143
 144 media_scrapers.unshift([/.*/, youtube_scrape_embedded]);
 145 media_scrapers.unshift([youtube_mode.test, youtube_scrape_buffer]);
 146
 147 provide("youtube");