Rip DR NU - Nu også med Bonanza

#90

Mystisk det gamle script virkede stadig hos mig, tror vist det var cached.



Men fedt script. Tak for arbejdet :)

Hvis man ikke gider og rode med rtmpdump kan man bruge den API som er tilgængelig fra http://www.dr.dk/nu/api/ der kan man hente en komplet liste over udsendelserne i f.eks JSON, denne kan man så parse og derved forholdsvis nemt få adgang til udsendelsen i mp4 format som kan downloades med en browser, wget osv.

#102:



Ud over at scriptet faktisk benytter API'erne, så mener jeg ikke at det er muligt at downloade i MP4 format. Udsendelserne er kun til rådighed i RTMP.



De har før være tilgængelige for download, hvilket var årsagen til at FF pluginet Download Helper kunne downloade dem. Men det kan det ikke mere.



Hvis de faktisk stadig findes i MP4 format, så må du meget gerne give et praj :-)

Jeg har skrevet et lille bash script som udskriver en direkte url til udsendelsen i mp4 format, når video id er første argument Scriptet er på ingen måde perfekt og der er ingen error checking, men det virker i Ubuntu 10.04 og Ubuntu 11.10. Når man afspiller en udsendelse i webplayeren kan man finde video id i adresselinien.



dr_nu:

#!/bin/bash



# Download DR NU video listen fra http://www.dr.dk/nu/api/videos/all og gem den som dr_video_list.json

# i din hjemme mappe. Scriptet afvikles efterfølgende med video id som argument f.eks

# "./dr_nu 7747"

# Programmets titel og en url til filen vil efterfølgende blive udskrevet til skærmen.

# Video id kan findes i adresse linien når en udsendelse afspilles via DR NU webplayeren.



dr_video_list=~/dr_video_list.json

dr_vod_url=http://vodfiles.dr.dk/



video_block=$(cat "$dr_video_list" | grep -A 23 '"id": '$1',')

video_title=$(echo "$video_block" | grep -o '"title": "[^"]*' | sed 's/"title": "//')

video_manifest_url=$(echo "$video_block" | grep -o '"videoManifestUrl": "[^"]*' | sed 's/"videoManifestUrl": "//')



rtmp_stream=$(wget "$video_manifest_url" -q -O- | sed "s/rtmp:\/\/vod.dr.dk\/cms\/mp4://")



dr_nu_mp4_url="$dr_vod_url$rtmp_stream"



echo "$video_title"

echo "$dr_nu_mp4_url"

#104:



Super input du kom med! Jeg var overbevist om at det ikke længere var muligt at downloade i MP4 format. Nu vil jeg indbygge mp4-muligheden i mit DR NU script så det bliver endnu lettere at hente programmerne hvis man fx hellere vil se det på fjernsynet end på computeren.

Super script Marlar!

Nu har jeg så en video jeg gerne vil downloade, men kan ikke lige finde ud af det.

Den ligger så ikke på DR NU.

Jeg har fundet frem til følgende url:

rtmp://vod.dr.dk/cms/mp4:CMS/Resources/dr.dk/DR2/Danskernes_akademi/2010/08/800faa88-8c70-42a5-9a9d-98073ae079b1/Optimale-huller-og-topolog_955689497b424cb688cb276d8df26f4c-0-0.mp4?ID=774648



Selve siden er denne http://www.dr.dk/DR2/Danskernes+akademi/IT_teknik/Optimale_huller.htm



Håber der er nogen der kan hjælpe.

#107: Nu har jeg så en video jeg gerne vil downloade, men kan ikke lige finde ud af det.



Har du installeret rtmpdump?



Herfra virker det oplagte fint:



rtmpdump --rtmp="rtmp://vod.dr.dk/cms/mp4:CMS/Resources/dr.dk/DR2/Danskernes_akademi/2010/08/800faa88-8c70-42a5-9a9d-98073ae079b1/Optimale-huller-og-topolog_955689497b424cb688cb276d8df26f4c-0-0.mp4?ID=774648" --playpath="mp4:CMS/Resources/dr.dk/DR2/Danskernes_akademi/2010/08/800faa88-8c70-42a5-9a9d-98073ae079b1/Optimale-huller-og-topolog_955689497b424cb688cb276d8df26f4c-0-0.mp4?ID=774648" --flv="test.flv"



Ja jeg har installeret rtmpdump, men det er åbenbart mig der ikke forstår at bruge det, for med din commando virker det også perfekt :)

Jeg siger tak.

@Marlar



DR har lavet om på deres player, så afsnit afspilles på dr.dk/tv.



Har du mulighed for, at fikse scriptet? :P

Fandt dette script, som virker og er hurtigere, at bruge IMO: http://koldfront.dk/git/drnuget/plain/drnuget

#111: Fandt dette script, som virker og er hurtigere, at bruge IMO: http://koldfront.dk/git/drnuget/plain/drnuget



Elegant implementeret. Er det dit eget, eller hvordan har du fundet frem til det?

#112: Elegant implementeret. Er det dit eget, eller hvordan har du fundet frem til det?



Det er et jeg har fundet frem til.

#111: Fandt dette script, som virker og er hurtigere, at bruge IMO: http://koldfront.dk/git/drnuget/plain/drnuget



Ja så kan det næsten ikke gøres mere enkelt og hurtigt. Perfekt!!

#111: Fandt dette script, som virker og er hurtigere, at bruge IMO: http://koldfront.dk/git/drnuget/plain/drnuget



Hvordan får man det til at virke? - Jeg er helt grøn, mht. hvad man skal gøre med sådan et script.



Derudover, i Fedora 17 kan jeg ikke finde pakken libjson-perl.



Var ellers helt vild med Malars script http://drnu.tumblr.com/ - Er det muligt det kan blive opdateret??

#115 I Fedora hedder pakken perl-JSON, derudover skal pakkerne perl-File-Slurp og perl-libwww-perl også være installeret. Download & brug:

wget -c http://koldfront.dk/git/drnuget/plain/drnuget

chmod +x drnuget

og f. eks. ./drnuget http://www.dr.dk/TV/se/rejseholdet/rejseholdet-14-32

#115: Var ellers helt vild med Malars script http://drnu.tumblr.com/ - Er det muligt det kan blive opdateret??



Ja, kommer snart :-)

frugtoase: Stort tak :) Det virker!



Hvordan gør man, hvis man vil kunne eksekvere drnuget som en "rigtig" terminal-kommando?



marlar: Det vil jeg glæde mig til :)



Hvordan kan det egentlig være at de verse "flash-movie-downloader"-add-ons til f.eks. Firefox ikke virker på DR?



EDIT:

Kan drnuget også bruges på Bonanza? - Marlar, vil dit script kunne bruges på Bonanza?

#118: Marlar, vil dit script kunne bruges på Bonanza?



Ja, jeg har selv brugt det på bonanza før ændringen. Så det kommer nok.

#118

Hvordan gør man, hvis man vil kunne eksekvere drnuget som en "rigtig" terminal-kommando?



su -c 'mv drnuget /usr/local/bin'



Hvordan kan det egentlig være at de verse "flash-movie-downloader"-add-ons til f.eks. Firefox ikke virker på DR?



Det er fordi DR bruger RTMP.

Ikke for at afspore tråden, men jeg har flere gange haft behov for at kunne rippe et indslag fra TV2's regionalstationer, men uden held indtil videre. Nogen hints om, hvordan jeg kan gøre dette? Er det samme teknologi, der anvendes på DR og TV2?

#122: Er det samme teknologi, der anvendes på DR og TV2?



Det minder meget om hinanden, ja. Måske indlæg #96 kan inspirere dig. Ved ikke om alle regionalstationernu bruger samme metode.

Det gamle DR Nu ser ud til at stadig at ligge på DR's servere på http://www.dr.dk/DR/nu-beta

Jeg gik i gang med at opdatere scriptet for et par dage siden men var nødt til at stoppe pga. driftsforstyrrelser på DR NU. Jeg fortsætter i weekenden.

@marlar

Et par nyttige links:

DR NU's nye API: http://www.dr.dk/mu

DR NU's gamle API: http://www.dr.dk/nu/api/

Så fik jeg endelig tid til at opdatere scriptet til den nye version af DR TV som det hedder nu.



Nyt:



1. Det er muligt at gemme programmerne direkte fra browseren uden brug af eksterne programmer. Dette er nok især guf for windowsfolk :-)



2. Det anbefales dog stadig at bruge kommandolinjen da det giver flere muligheder, fx automatisk omdøbning af de ellers intetsigende filnavne. Der bruges nu wget i stedet for rtmpdump til at optage programmerne.



Scriptet kan hentes her: http://userscripts.org/scripts/show/117108



Det er testet i Firefox med Greasemonkey og Chrome med Tampermonkey. Det virker ikke i Chrome uden Tampermonkey.

Er ny her i tråden. Hvor kan jeg finde fremgangsmåden som skal benyttes sammen med scriptet?

#128: Er ny her i tråden. Hvor kan jeg finde fremgangsmåden som skal benyttes sammen med scriptet?



Installer Greasemonkey i Firefox. Klik derefter på linket i #127 og installer programmet med knappen i øverste højre hjørne.



Så er du klar!



Du kan også bruge Tampermonkey til Chrome. Ellers samme fremgangsmåde.

#127 marlar



Perfekt med download via browseren, så kan man jo også anbefale det til almindelige mennesker der typisk bruger windows!



Det virker i øvrigt også i Opera med Violent monkey!

#130: Det virker i øvrigt også i Opera med Violent monkey!



Tak for tippet, har aldrig hørt om den voldsomme abe før :)

#129:

Ok, så fandt jeg også ud af det.

Virkelig smart og brugbart.

Takker ligesom så mange andre herinde mange gange :-)

#132:

Ok, det kan godt være at jeg ikke helt har fundet ud af det endnu.

Hvis nu jeg vil prøve at hente dagens tv-avis (link), så syntes jeg ikke rigtigt at der kommer nogle muligheder frem til at hente udsendelsen.



Burde scriptet ikke komme nuppe sådan en udsendelse eller gør jeg bare noget galt?

Benytter Tampermonkey og Chrome.

#133: Burde scriptet ikke komme nuppe sådan en udsendelse eller gør jeg bare noget galt?



Jeg har lige prøvet, og det virker fint. Du trykker på "Start programscanning" ude til venstre, derefter kommer udsendelsen op på listen nedunder. Sæt kryds, og klik derefter på Hent via browser eller Generér kommandolinje.

Ja, jeg ved ikke helt hvad der var sket. Men efter en masse mislykket forsøg slettede jeg til sidst Tampermonkey fra Chrome og installerede det igen, og så begyndte det at virke igen.



Igen en stor tak herfra :-)

Jeg har leget lidt med noget PHP og det API (det gamle) dr har lavet til DR NU.



Det er ikke perfekt endnu, men det kan det mest basale - Liste afsnit i de forskellige serier med mulighed for download af MP4 format



https://hamdenkloge.dk/dr/



Min tanke er og lave mulighed for at oprette en profil på siden.

Man får så adgang til at lave favoritlister etc.

#136:

Hejsa, det er en sympatisk idé.

Men jeg er bange for, at du kan komme i fedtefaddet. Ikke at jeg tror du på nogen måde har lavet siden i ond tro eller noget!

Forskellen på din løsning og marlars, når jeg tænker over det, er at Marlars er et værktøj, der i sig selv ikke eksplicit har et link til DRs materiale og ej heller præsenterer det. Først når brugeren giver det et input, så kommer der et evt. brugbart output.

Dit værktøj derimod serverer indholdet til brugeren uden andet end at besøge din side.

Her tror jeg du kommer i karambolage med DRs politik omkring deres indhold.

Hvis du kigger på http://www.dr.dk/hjaelp/omdrdk/20061114141011.htm#links under "Links til dr.dk"-afsnittet og kigger i punkt 2:

Linkingen må ikke være snyltende på DRs virksomhed: Det betyder fx, at man ikke må lave en stor og omfattende linksamling til indhold fra dr.dk, præsenteret som indhold på det site, hvorfra der linkes. Det må ligeledes ikke fremstå som om, at DRs materiale anbefaler eller opkvalificerer linkerens indhold.

, så tror jeg det er her, du kan få problemer.

Men som sagt, det er min overbevisning, at du ikke umiddelbart har gjort det i ond tro eller noget, så ja - en skam DR ikke giver lov, men better safe than sorry mht. at du lige får lidt info herom fra mig af.



Update: Ellers evt. søg DR om tilladelse til at anvende deres indhold jvf. "Links til dr.dk" osv.

Når fx fagbladet for 3f kan finde marlars script, så kan DR sandsynligvis også finde din løsning før eller siden.

Hmm, synes ikke dit Greasemonkey script kan finde "The Walking Dead III" afsnit 1?

http://www.dr.dk/tv/se/the-walking-dead-iii/the-walking-dead-20

Virker underligt..

#138:



Har lige prøvet i FF, det virker fint nok.

#139: Underligt :)

Har bikset et bash script sammen der kan downloade fra dr.dk/tv servere vi dr.dk/mu api'et

https://gist.github.com/klausenbusk/9ece67406f35def55169

brug:

./drnuget.sh http://www.dr.dk/tv/se/the-walking-dead-iii/the-walking-dead-20



Ved ikke end det kan laves "pænere"/bedre i "bash" og med standard tools

Jeg kom til at tænke på om det er muligt at parse en RTMP-/vodfiles-url, hvis man har en gammel kodelinje fra en video, der er udløbet (fx fra web.archive.org)?



Det drejer sig konkret om:



videoData: {

resource: "http://www.dr.dk/mu/bar/502d6dbd860d9a1400b04a24",

image: "http://www.dr.dk/drdkimagescale/imagescale.drxml?server=appmanol.dr.dk&file=mu/Bar/502dfc40860d9a0d6c8d79b9&w=940&h=562&scaleafter=&contenttype=jpg&fallbackserver=www.dr.dk&fallbackfile=tv/find-program/Content/Images/errorImage.jpg",

programmeName: 'Den store glødepære-konspiration',

broadCastDate: "16. aug. 2012",

materialIdentifier: "den-store-gloedepaere-konspiration",

programSerieSlug: "den-store-gloedepaere-konspiration",

episodeSlug: "den-store-gloedepaere-konspiration",

urnId: "urn:dr:mu:programcard:50160500860d9a2728f36d68",

rtmpHost: "rtmp://vod-prio3.gss.dr.dk",

videoType: "ondemand"

}



Jeg er ret sikker på at DR ikke fjerner indholdet fra deres servere, men blot deaktiverer adgangen til det. For nylig hentede jeg noget fra UPlayer fra det gamle DR Pirat TV, og det indhold lå der stadig, hvis bare man kunne skaffe de direkte links til det fra de gamle embed-sider, som i visse tilfælde findes arkiveret på nettet.

#141:



Du kan se mere info her: http://www.dr.dk/mu/programcard?Slug=%22den-store-gloedepaere-konspirat…



Umiddelbart er der ingen referencer til videomaterialet, så det nok ikke muligt at stykke den korrekt url er sammen.



Til gengæld er den ret let at google ("The lightbulb conspiracy"), den kommer som nr. 1:



http://tinyurl.com/a6pns92

Hvilke programmer er egentligt lovlige at downloade fra DR ?



Jeg downloader selv en del fra dr.dk/podcast da jeg bor i Kina og savner dansk TV, men alle programmerne der inde er DR's egne programmer som f.eks. TV-Avisen, Troldspejlet, Spise med Price osv...

#143:



Jeg betragter det mere som at se programmerne på et andet medie, fx den store fjernsynsskærm. Der er endnu ikke noget jeg har gemt efter at have se det.



Ud fra ovenstående betragtning mener jeg man kan se det hele med god samvittighed. Hvis du derimod deler med andre, er det en helt anden historie og et klart brud på reglerne.

Hej, jeg har læst Jeres tråd, og håber I kan hjælpe en windows-bruger til at hente en podcast fra dr.dk, som ikke er tilgængelig via fx iTunes.



Det drejer som om denne udsendelse:

DR P6 Offbeat, 19-09-2011

http://www.dr.dk/P6Beat/arkiv/offbeat/2011/09/19/offbeat-med-carsten-ho… (playeren er placeret til højre).



Jeg ved ikke hvordan jeg skal få URLen, og har prøvet med URL Snooper uden held.



Håber I kan hjælpe, og håber ikke min forespørgsel er alt for off-topic.

Jeg søgte sidens kildekode igennem efter "rtmp", det er dog ikke altid en sikker løsning på DR's hjemmeside.

normalt bruger de et div element som dette.







I overstående eksempel skal man ind og læse filen "http://www.dr.dk/mu/programcard/expanded/p6-beat-pa-roskilde-10", hvor rtmp linket ligger.

ffmpeg kan konvertere de fleste lyd og video formater, og det kan også håndtere flash video og lyd.

http://www.ffmpeg.org/

http://stream-recorder.com/forum/ffmpeg-extract-mp3-audio-flv-video-los…



Der findes massere af GUIs hvis du ikke er til konsol. Eks.

http://avanti.arrozcru.com/