Ычан: [d | b / bro / hr / l / m / mu / o / s / tran / tu / tv / vg / x | a / aa / c / fi / jp / rm / tan / to / vn]
[Назад]
Ответ в нить
Имя
Animapcha image [@] [?]
Тема   ( ответ в 13127)
Сообщение flower
Файл 
Пароль  (для удаления файлов и сообщений)
Параметры   
  • Прежде чем постить, ознакомьтесь с правилами.
  • Поддерживаются файлы типов 7Z, BZ, BZ2, GIF, GZ, JPG, MO, MP3, MP4, OGG, PDF, PNG, PSD, RAR, SVG, SWF, TXT, WEBM, WEBP, XCF, ZIP размером до 5120 кБ.
  • Ныне 3657 unique user posts. Посмотреть каталог
  • Предельное количество бампов нити: 500
1232196524841.png - (135.84KB, 415×335)
13127
No. 13127  
Предлагаю написать граббер, который будет искать все треды на досках ычана/доброчана и скачивать из них пикчи, гифки, вебмки в одну папку. Сколько годного арта и прочих интересностей по чем зря пропадает.
No. 13129  
Ну, это не так уж и сложно сделать.
No. 13134  
>>13129
Кот бы взялся только.
No. 13135  
>>13134
Я тут нашел для форчана, вот такую бы сделать под наши борды. А то на форче один мусор, а не пикчи.
http://sourceforge.net/projects/ychan/
No. 13136  
gov-nyashek.jpg - (103.57KB, 838×1024)
13136
а как ты будешь няшек от говняшек отличать?
No. 13138  
>>13136
Никак, просто соберу всё в один большой черный мешок, а потом буду вылавливать алмазы из говна.
No. 13141  
>Сколько годного арта и прочих интересностей по чем зря пропадает
~0
No. 13144  
Место быстро забивается, я гарантирую это.
No. 13156  
Ну что, кто-нибудь пишет?
No. 13158  
>>13156

choose your destiny:

а) да
б) нет
в) наверное
г) ни в коем случае
No. 13159  
>>13156
wget -mk -w 20 http://site.name.here/
No. 13163  
Tetris-VeryFirstVersion.png - (3.81KB, 638×385)
13163
>>13156 да, я пишет.
No. 13167  
>>13163
Ну и что же ты пишет?
No. 13175  
>>13167 штуку, которая как в ОП-посте. Заодно потыкиваю Electron (в девичестве atom-shell), давно собирался его потыкать, да все незачем было.

Как только это можно станет запустить и не умереть тотчас же от крови из глаз — покажу.
No. 13183  
download.jpg - (118.08KB, 1280×720)
13183
>>13175
へえー. Посмотрел, что такое этот atom-shell, так значит ты на node.js делаешь? Ну, в принципе, ничего, там и парсер легко подключить. С гуем будет шоль?
Но всем этим atom-shell и nw.js ОЧЕНЬ не хватает режима, как в py2exe — чтобы собирался только консольный exe-шник.
No. 13191  
>>13183 с гуем, да. wget без гуя уже написали ведь.

Консольный экзешник в Электроне можно собрать, кстати. Т.е. он не будет инхерентно консольный, просто собирай экзешник и не открывай никаких окон. console.log пишет в stdout.


Also, prorgress updaet: у меня приключилась жизнь, поэтому ничего не делал, поделаю сегодня. Файлы скачивает, в дедупликацию пока не может, ссылки искать может (но не ищет).
No. 13219  
>>13191
Как успехи?
No. 13224  
Файл
удалён
>>13191
Пинг.
No. 13255  
Нафиг так жить.
No. 13295  
Ну я то сделал.

теперь сижу думаю зачем? стендалон решение никому не нужно.
No. 13297  
>>13295
Слыышь! Давай выкладывай.
Не нужно никому как раз лишняя Облачность и чужие сервера.
No. 13300  
>>13297
скоро выложу. Отладку на Б делаю, а там 18к картинок. так что у меня это занимает некоторое время.

надеюсь установку модулей из CPAN ты осилишь
No. 13301  
1445287650997.jpg - (163.13KB, 650×531)
13301
>>13300
Осилю, если какие-ниюудь особые версии не надо ставить, а всё по-дефолту.
Так ты другой человек, что ли, не >>13191?
Фуму.
No. 13302  
>>13301
Нет, я другой человек.

готово можно тестировать\использовать:
http://pastebin.com/aJbTK8ph

модули которые нужно ставить: LWP, Getopt

К счастью, большая часть логики лежит на самой вакабе, поэтому на проверку дуплей можно забить, просто проверяя имя сохраненного файла.

Как оказалась это архитектурное решение лучше всего подходит.

Должно работать на других досках ичана.

есть Еррор-лог(который на самом деле просто лог-файл) Там можно проверить чо он не осилил открыть, и сколько он итого скачал файликов.

Рекомендую не менять время между запросами, чтобы не словить бан, так как лишняя нагрузка.

на Б будет отрабатывать в перый раз более 5 часов, так как 18к файлов, и около 4 гигов. в следующие разы быстрее, так как он не будет скачивать то что он уже скачал. Но так как там 60 тредов, то это как минимум 20 минут.

Можно запускать по крону, говоря ему имя доски.

Должно работать на других досках кроме б, но я не проверял.

каждую доску он складывает в свою папку, которую создает.

Пожелалки можно писать в тред.
No. 13303  
>>13302
Поправь описание, куча ошибок.
No. 13304  
>>13303

Ну я плохо пишу на Ангельском. Т_Т
No. 13376  
анон, ну как результаты? норм все, ченить еще пилить надо?
No. 13377  
анон, ну как результаты? норм все, ченить еще пилить надо?
No. 13385  
>>13377
А я ещё не запускал, лол.
Удалить сообщение []
Пароль  
[Mod]