?

Log in

No account? Create an account
 

А кто что знает про утилиты для скачивания всего ЖЖ? Плюсы, минусы,…

About  

Previous Entry 4 апр, 2017 @ 13:36
А кто что знает про утилиты для скачивания всего ЖЖ?
Плюсы, минусы, подводные камни?
Оставить комментарий
[User Picture Icon]
From:intafy
Date:Апрель, 4, 2017 12:03 (UTC)
(Link)
Что, тоже полгода не заходил и решил показать, что ты еще им пользуешься?)
Тебе весь жж или только свой?)
Я тут какой-то (вроде blogbooker) скачала в пдф. Там бесплатно можно год, вроде удалось дважды по году выкачать, дальше не пробовала.
[User Picture Icon]
From:netp_npokon
Date:Апрель, 4, 2017 12:06 (UTC)
(Link)
Ну я пару раз комментарии писал - думаю, это считается за использование :)
Мне бы лучше в теплый ламповый HTML, чтобы оно было максимально похоже на настоящий.
Можно wget+sed, конечно, но вдруг кто-то уже это сделал за меня.
[User Picture Icon]
From:intafy
Date:Апрель, 4, 2017 12:16 (UTC)
(Link)
В html тогда не нашла, собственно вообще работающего почти ничего не нашла.
Сейчас резко появилась куча интересующихся выкачиванием, так что, наверное, кто-то в ближайшее время сделает нормально)
From:asavan
Date:Апрель, 4, 2017 20:04 (UTC)

Выбор велик

(Link)
http://bigdata-madesimple.com/top-50-open-source-web-crawlers-for-data-mining/

https://en.wikipedia.org/wiki/Web_crawler#Open-source_crawlers

https://en.wikipedia.org/wiki/HTTrack например

ну или
wget --random-wait -r -p -e robots=off --convert-links -U mozilla http://www.example.com

// украдено тут http://www.commandlinefu.com/commands/view/901/download-an-entire-website

ну или велосипед от пианиста на плюсах
https://github.com/pianist/multcher

Edited at 2017-04-04 20:15 (UTC)
[User Picture Icon]
From:netp_npokon
Date:Апрель, 6, 2017 08:28 (UTC)

Re: Выбор велик

(Link)
wget я умею, но тут, как выясняется, есть проблема с тредами (см. ссылку на медузу ниже).
[User Picture Icon]
From:leozub
Date:Апрель, 6, 2017 02:27 (UTC)
(Link)
[User Picture Icon]
From:netp_npokon
Date:Апрель, 6, 2017 08:27 (UTC)
(Link)
Да, судя по всему, основная проблема - это разворачивание тредов.
[User Picture Icon]
From:nobody_thefirst
Date:Апрель, 15, 2017 12:56 (UTC)
(Link)
Я на dreamwidth весь контент перенесла. А как на комп скачивать - вроде на Медузе недавно была инструкция.
[User Picture Icon]
From:netp_npokon
Date:Апрель, 15, 2017 13:44 (UTC)
(Link)
Я и говорю, там проблемы с тредами.
(Оставить комментарий)
Top of Page Разработано LiveJournal.com