Rip DR NU - Nu også med Bonanza

Umiddelbart kender jeg kun Total Recorder som er til Windows. Det har jeg brugt i nogle år, og det er et kanon program. Efter jeg gik linuxvejen bruger jeg det i en Virtual XP.

Du burde kunne bruge en af Firefox-tilføjelserne til at downloade med – ex. NetVideoHunter.

Siden er nede nu p.g.a. overbelastning. Jeg plejer at have gode erfaringer med at kigge på sidens kildekode og finde rtmp-linket til videoen. Derefter downloader jeg det med rtmpdump fra terminalen.



Når siden kommer op igen og jeg får tid til at se på det vil jeg vende tilbage med instrukser såfremt jeg finder en løsning.



EDIT: det har virket fint på Bonanza og andre steder på DR så jeg vil tro det bare er et spørgsmål om lige at se på koden og finde linket. De plejer så at forsøge at gøre det sværer ved at bytte nogle af tegnene ud men dete r ret nemt at gennemskue. Jeg poster lidt senere hvis jeg finder en løsning som sagt.

Kan du ikke bare "optage" med VLC-playeren? Aktiver de udvidede funktioner og tryk på den røde knap :)

tror du, dit forslag er så godt, for det er vel politisk besluttet at alt fra TV skal kunne afvikles med mplayer. Jeg har selv brugt vlc rigtig meget, men er gået over til at bruge mplayer - har du en løsning, der inkluderer mplayer?

Det kan godt lade sig gøre, men jeg har ikke en automatisk eller simpel måde at gøre det på.



Man skal kigge på hvilke requests deres flash afspiller laver, det kan gøres med firebug til firefox.

Så skal man finde den request til GetResource.ashx som passer på den video-stream man ser, den returnere et JSON-objekt som indeholder en mms og en rtmp-url til videoen.

Den kan man så kopiere til fx. mplayer og bruge dumpstream til at gemme den på disken.

Der står fx følgende referencer i kilden





{

"channelName":"DR K",

"gemius_customPackage":[{"name":"CHANNEL","value":"LIVE"},{"name":"PROGRAMME","value":"DR K"},{"name":"AUTOSTART","value":"YES"}],

"gemius_materialId":"019_LIVE-DR K&DR K",

"gemius_live":true,

"mediaFiles":[

{"mediaFile":["rtmp://rtmplive.dr.dk/live/livedr04astream3", "rtmp://rtmplive.dr.dk/live/livedr04bstream3"],"kbps":1000},

{"mediaFile":["rtmp://rtmplive.dr.dk/live/livedr04astream2", "rtmp://rtmplive.dr.dk/live/livedr04bstream2"],"kbps":500},

{"mediaFile":["rtmp://rtmplive.dr.dk/live/livedr04astream1", "rtmp://rtmplive.dr.dk/live/livedr04bstream1"],"kbps":250}

]

},





men de kan ikke spilles i VLC.



Ps. Hvor findes vlc's log?

Til gengæld virker:

mplayer rtmp://rtmplive.dr.dk/live/livedr04astream2



os.

#9

De URLs er til DRs live streams, DR1, DR2, DR K osv. Jeg antager at #0 er efter de andre video-streams som er på dr.dk/NU. hvis det var live streams så har DR direkte links liggende et eller andet sted.



Hvis du skal have de live streams til at virke i VLC mener jeg du skal have slået RTSP over TCP og evt. RTSP HTTP proxy til i VLCs avancerede indstillinger.

#11: Nå ok, det var jeg ikke opmærksom på. De almindelige streams virker fint i VLC, dem med protokollen rtsp.

Der er mange underholdende Firefox tilføjelser, med sjove løsninger iht emnet, men de ER morsomme, i bedste fald.



Streaming Flash lægges i /tmp, og-eller i browser cachen, i Chromium's eksempel:



/home/profil-navn/.cache/chromium/Media Cache



Og derfra kan man almindeligvis håndtere dem uden alt det Firefox pjat, men det gælder ikke for DR-NU.



Jeg ved ikke hvordan man ripper DR-NU, og er også særdeles interesseret i hvordan. Desværre er det ikke lovligt, hvilket de skriver eksplicit. Personligt er jeg ligeglad, men måske er LinuxIn ikke ...?

Jeg ved ikke hvordan man ripper DR-NU, og er også særdeles interesseret i hvordan. Desværre er det ikke lovligt, hvilket de skriver eksplicit.



Hvor skriver de det?

Jeg er også interesseret, omend det er rent interesse. Jeg har aldrig set dr.dk/nu alligevel, og ripningen fungerer fint med Total Recorder under Windows. Jeg lavede en test inden jeg lavede mit svar i #1.



Principielt irriterer det mig bare at der er noget jeg ikke kan gøre i Linux :)

Mplayer kan streame audio/video (rtsp), fra konsollen med:



mplayer -noframedrop -dumpfile out.flv -dumpstream rtsp://url/til/videofilen.flv



Optagelsen gemmes i out.flv, til senere brug.



DR, har gjort meget af det de selv har rettigheder til, tilgængeligt her:

http://www.dr.dk/podcast/Video.



os.

#16

Mplayer kan streame audio/video (rtsp), fra konsollen med:

Joh... men bruger dr.dk/NU ikke RTSP men RTMP og MMS. Jeg har kun fået MMS URLerne til at virke med VLC og mplayer på Linux.

#14

Fra bunden af dr.dk/NU:

"© Copyright DR 2011. Materialet må ikke gengives uden tilladelse jævnfør lov om ophavsret."

# 16



Som omtalt i #10, virker RTMP også med mplayer, og kan derfor også streames.

#11 og #13:



Jeg har vist fat i noget nu. Startede Tamper Data op i Firefox og fandt fx for denne SoEinDing



http://www.dr.dk/NU/player/#/so-ein-ding/5634



dette mms link:



mms://wms.dr.dk/storage/auto/cms/Resources/dr.dk/NETTV/DR2/2011/02/a7eeaf68-0ebe-4010-a27f-8e7314a65a42/fb1da6799e8247eb8681e5c88d715a98_3wmv.wmv?ID=864228



Det spiller fint i VLC og burde også kunne optages.



Hver udsendelse kommer i forskellige formater og bitrates, fx også denne i 1935 Kbps:



rtmp://vod.dr.dk/cms/mp4:CMS/Resources/dr.dk/NETTV/DR2/2011/02/a7eeaf68-0ebe-4010-a27f-8e7314a65a42/fb1da6799e8247eb8681e5c88d715a98_500.mp4?ID=864228



Når man starter en udsendelse, udsendes der en række JSON pakker, her er en af dem i sin helhed:







{"resourceId":864228,

"name":"So ein Ding",

"mediaType":"Video",

"restrictedToDenmark":false,

"downloadable":false,

"geofilterId":0,

"publish":"2011-02-02T13:19:44",

"expire":"3000-01-01T00:00:00",

"links":[{"qualityId":1980197,

"uri":"mms://wms.dr.dk/storage/auto/cms/Resources/dr.dk/NETTV/DR2/2011/02/a7eeaf68-0ebe-4010-a27f-8e7314a65a42/fb1da6799e8247eb8681e5c88d715a98_3wmv.wmv?ID=864228",

"linkType":"Streaming",

"fileType":"wmv",

"bitrateKbps":840,

"width":512,

"height":288},

{"qualityId":1980198,

"uri":"rtmp://vod.dr.dk/cms/mp4:CMS/Resources/dr.dk/NETTV/DR2/2011/02/a7eeaf68-0ebe-4010-a27f-8e7314a65a42/fb1da6799e8247eb8681e5c88d715a98_1000.mp4?ID=864228",

"linkType":"Streaming",

"fileType":"mp4",

"bitrateKbps":1935,

"width":640,

"height":360},

{"qualityId":1980199,

"uri":"rtmp://vod.dr.dk/cms/mp4:CMS/Resources/dr.dk/NETTV/DR2/2011/02/a7eeaf68-0ebe-4010-a27f-8e7314a65a42/fb1da6799e8247eb8681e5c88d715a98_500.mp4?ID=864228",

"linkType":"Streaming",

"fileType":"mp4",

"bitrateKbps":1308,

"width":640,

"height":360},

{"qualityId":1980200,

"uri":"rtmp://vod.dr.dk/cms/mp4:CMS/Resources/dr.dk/NETTV/DR2/2011/02/a7eeaf68-0ebe-4010-a27f-8e7314a65a42/fb1da6799e8247eb8681e5c88d715a98_250.mp4?ID=864228",

"linkType":"Streaming",

"fileType":"mp4",

"bitrateKbps":1186,

"width":320,

"height":180}],

"chapters":[]}





Læg mærke til 5. parameter: downloadable. Måske kunne filen endda downloades hvis man fifler lidt med denne parameter? Det gider jeg nu ikke rode med, jeg er tilfreds med at det kan lade sig gøre at rippe dr.dk/nu under Linux ;-)

#20: Af en eller anden grund virker rtmp ikke i min MPlayer.



Den siger:



Playing rtmp://rtmplive.dr.dk/live/livedr04astream2.

Closing connection: NetStream.Play.StreamNotFound

Failed to open rtmp://rtmplive.dr.dk/live/livedr04astream2.



LMDE 64 bit.

Med VLC. Jeg har nu den omtalte udsendelse i en mp4 liggende i min Mint Julia (82,3 MB) ;-)



mms://wms.dr.dk/storage/auto/cms/Resources/dr.dk/NETTV/DR2/2011/02/a7eeaf68-0ebe-4010-a27f-8e7314a65a42/fb1da6799e8247eb8681e5c88d715a98_3wmv.wmv?ID=864228



Mvh

Tamper Data er et plugin til Firefox der fint supplerer Firebug idet er en smule mere lowlevel. Men når jeg nu først har fundet ud af hvordan DR NU's JSON pakker virker, er her en simpel måde at udtrække links på vha Firebug.



1. Gå ind på dr.dk/nu



2. Gør programmet klar til at spille ved at vælge dets placering på alfabetlinjen



3. Åbn Firebug, vælg Net fanen, derefter underfanen All og tryk så Clear for at rydde skærmen



4. Start den ønskede udsendelse



5. Find så linjen der starter med GET GetResource.ashx, typisk 5-6 linjer nede hvis du huskede at rydde skærmen. Brug evt. søgefeltet. Er der flere af dem, så ligger den afspillede udsendelse som nummer et.



6. Klik på linjen og derefter på fanen JSON



7. Klik nu på parametren links. De fleste udsendelser findes i flere formater, så klik på et af tallene og derefter uri for at vælge det det format/bitrate du ønsker.



8. Kopier linket ind i din foretrukne medieafspiller



9. God fornøjelse :-)

For en udførlig vejledning. Jeg må også lige revidere min tidligere opfattelse af nødvendigheden af visse af disse Firefox udvidelser ;-)



Mvh

http://db.tt/fY9Wmr4

.... kan nøjagtigt det samme helt uden installerede tilføjelser.



Højeklik på sitet og vælg Inspect Element. Fremgangsmåden er naturligvis ikke helt den samme som i Firebug, men elementernes navne er det.

Ja, Chromes debugger minder meget om Firebug, dog uden at have de helt samme muligheder. Især fordi der er lavet en masse addons til Firebug, altså plugin-plugins :)

Jeg kan simpelthen ikke åbne de links jeg finder via firebug. Dvs dem der starter med rtmp:// . Vlc siger med det samme den ikke kan finde filen, mplayer ligeså.. Men den so ein ding der er linket til længere oppe i tråden virker.. underligt. Det er for sjov x faktor fra igår jeg ville prøve at dumpe..

Linux Mint Debian 64-bit.

#30

rtmp fra dr.dk/nu kan jeg heller ikke få til at virke, hverken med vlc, mplayer eller rtmp.

Jeg har ingen problemer med deres mms-streams, prøv dem i stedet.

#31 kan ikke finde deres mms streams i koden?

#32

Da jeg prøvede lå den som alternativ link ved siden af dem med RTMP i samme xml.

#33 ok ja det kan jeg også se der er på andre streams, men åbenbart ikke lige på den fra igår. Sjovt. Har også prøvet at sjusse mig frem til mms stien ud fra de andre, men heller intet held. Er åbenbart der kun som rtmp..

Men alle mms virker fint til at dumpe med vlc player. Nogen der er friske på at skrive et lille rip dr.dk nu program? Bare for sjov? :)

Ok har lige prøvet rtmpdump og den siger, ligesom vlc, at stien ikke findes. Men den er der.. ret underligt. Flash afspilleren finder den jo fint..

#34:



Ja. Jeg pønser på det :-)

Hej, Tror først rmtp-protokollen vil virke med vlc 1.2.0.

Jeg har nu godt fat i et script. Det er nok klar om et par dage. Det er nu ikke så kompliceret, jeg skal bare lige have tid til det.



#34: Jeg har i min research konstateret at rigtigt mange videoer ikke har mms links. Det vil derfor være supergodt at få styr på hvordan rtmp afspilles for at få fuld nytte af et script.



Det jeg er i gang med er at køre dr.dk/nu gennem en HTTP inspector og debugger. Her kan jeg lave breakpoints i HTTP flowet og derved følge med i hvordan tingene bliver loadet.



Scriptet bliver enten en javascript bookmarklet eller et script til Firefox-pluginet Greasemonkey.

#35 mfl:



Damn, jeg bliver sgu helt skrap til det her. Jeg har fundet ud af hvordan man downloader DR NU's rtmp streams med rtmpdump !



For at rtmpdump kan dumpe streamen, skal man bruge --playpath parametren. Der skal stå det der starter med mp4: og resten af linjen.



Dette simple script udtrækker selv playpath og downloader rtmp streamen:





#!/bin/bash

url=$1

filename=$2

if [ ! $filename ] ; then

filename="drnu.flv"

fi

playpath=$(echo $url | egrep -o 'mp4:.*$')

echo;echo

echo "command line:"

echo "rtmpdump --rtmp=$1 --playpath=$playpath --flv=$filename"

echo;echo

rtmpdump --rtmp=$1 --playpath=$playpath --flv=$filename





Det bruges således hvis scriptet hedder fx drnu:



drnu url filnavn



url er rtmp adressen som angivet i #24. filnavn er outputfilens navn - der bruges drnu.flv hvis den ikke angives. Jeg troede først at programnavnet kunne udtrækkes fra url'en, men ofte er der bare nogle UID koder, så den metode er ikke sikker.



Scriptet udskriver også lige den kommando som rtmpdump kaldes med. Hvis man ikke gider se outputtet undervejs, kan man tilføje -q i scriptets sidste linje.



Nu mangler jeg så bare at kæde det sammen med det script der udtrækker multiemedialinkene automatisk :) Når jeg er færdig, opretter jeg en artikel.



Og husk nu at det ikke er tilladt at gengive det downloadede materiale. For en god ordens skyld!

Så har jeg lavet et download script i form af en bookmarklet.



Scriptet genererer en eller flere kommandolinjer som kan pastes direkte ind i terminalen for at downloade de pågældende programmer. Selve downloadet sker med rtmpdump eller mplayer for hhv. rtmp:// og mms:// links. De kan normalt installeres fra repositorierne.



Scriptet kører i browseren og virker på alle moderne browsere til både Linux, OS X og Windows.



Bookmarkletten er for stor til at bringe her, så jeg har lagt den på marklets.com:



http://marklets.com/DR+NU+Download+Script.aspx



Scroll ned til den store knap "DR NU Download Script" og træk den op på bogmærkelinjen. Så er altid klar til brug. Man kan også højreklikke og kopiere linket og paste det ind i adresselinjen.



Gå så hen på dr.dk/nu og vælg den programserie du ønsker at downloade fra. Klik på bookmarkletten i bogmærkelinjen og du er klar. Man kan veksle mellem programserierne uden at skulle køre bookmarkletten igen.



HUSK: Materialet tilhører DR og må ikke gengives uden tilladelse.



Selve det rå script kan ses her: http://kreacom.dk/test/drnu.user.js

Ovenstående link kan bruges til at installere scriptet i Greasemonkey (et Firefox plugin)

Mange tak for det ;-)



Mvh

DownloadHelper til firefox

Jeg behøver ikke anførselstegn. Jeg kan dog nemt rette scriptet til at selv at sætte dem. Det kan jeg gøre i morgen.

Jeg bruger standardterminalen i gnome.



Men jeg har opdateret bookmarkletten så den sætter anførselstegn. Så prøv igen.

Jeg bruger standardterminalen i gnome.





Det må være min tcsh, så.





Men jeg har opdateret bookmarkletten så den sætter anførselstegn. Så prøv igen.

Det virker perfekt! Godt arbejde, dér :)

Hej Marlar,



Dit ellers herligt brugervenlige script ser ikke ud til at virke længere. Måske DR har flyttet et komma somewhere?



Anyway, den manuelle fremgangsmåde ser stadig ud til at virke, så man kan klare sig for en stund:)

Jeg er godt klar over det og kigger på det i næste uge!