[WT] [Поиск] [Домой] [Управление]
[Совместно с IIchan.ru]

[Вернуться] [Весь тред] [Первые 100 постов] [Последние 50 постов]
Ответ в тему

Имя
Адрес  [sage] [noko]
Animapcha image [?]
Тема   (reply to 773)
Текст
Файл 
Пaроль  (для удаления постов и файлов)
  • Прежде чем постить, ознакомьтесь с правилами.
  • Поддерживаемые типы файлов: 7Z, BZ, GIF, JPG, MO, MP3, OGG, PDF, PNG, PSD, RAR, SVG, SWF, TXT, XCF, ZIP
  • Максимально допустимый размер файлов: 10000 кБ.
  • Изображения, размер которых превышает 200 на 200 пикселей, будут уменьшены.
  • Ныне 877 unique user posts. Посмотреть каталог
  • Радио: offline

Файл: 125161436960.gif-(1.67KB, 68x150, 1.gif)
773 No. 773 watch
Здравствуй, Ычик!
Появилась идея разработать Gelbooru downloader.
Суть такова - пользователь задаёт теги, по которым хочет искать, кол-во страниц которые нужно выкачать и папку куда качать.
Программа же будет сама искать по этим тегам и скачает пользователю в папку заданное кол-во пикч.
Потом возможно добавление поддержки других сайтов, вроде danbooru и т.д.
В принципе, я вполне могу взяться за разработку, и скорее всего, смогу сделать такую прогу, но вопрос - нужно ли? Анон, тебе нужна такая прога?
Развернуть все картинки
>> No. 774
Пригодится. Делай.
>> No. 775
Нужно.
>> No. 776
Нужно. На гелбоору есть тонны арта, которые релевантны моим интересам, но качать мне лень и некогда, поэтому тягаю оттуда по мере необходимости.
>> No. 777
Нужно, делай.
>> No. 778
Ок, значит будем делать.
Никто не подскажет какой-нибудь поисковой запрос для Gelbooru, который выдаст только одну пикчу?
>> No. 779
>>778
cacodemon
>> No. 780
тег "thrall"
1 результат только.
>> No. 781
Можно за основу взять http://nopaste.info/cee56adf98.html , кстати.
>> No. 782
POC (ProofOfConcept) версия почти готова,но она качает только первую найденную пикчу.
Правда, почему-то, все ссылки достаются нормально, но пикчи с сервера грузиться не хотят >_<
Буду разбираться, как заработает - обязательно выложу.
>> No. 783
>>782
Ты лучше сделай, чтобы выдавало список ссылок, а не скачивало первую найденную.
Алсо, венда-онли чтоли?
>> No. 784
С одной стороны и хорошо, с другой стороны, подобные скачиватели часто используются чрезмерно и нагинают сервер, из-за чего страдают нормальные пользователи.
>> No. 786
Файл: 125162805936.jpg-(95.02KB, 750x940, 18411.jpg)
786
Хотеть нечто подобное для Пиксива.
>> No. 788
Так есть такие штуки уже.
Правда скриптец, который я гоняю, скачивает всё что есть по этим тегам, с гибкими настройками прога пригодится, да.
И двачую качалку с пиксива. И сейфбору заодно прикрути.
>> No. 789
>>783
Первую найденную качает только ProofOfConcept-версия.
Да, венда-онли(пока).
>с гибкими настройками
будут
>И двачую качалку с пиксива. И сейфбору заодно прикрути.
сейфбору сделаем, там вроде с гелбору различий нет.
пиксив - я нихуя не понимаю в лунном, если кто-то объяснит мне, как он устроен, может и будет качалка.
>> No. 790
Итак, POC-версия готова.
Это очень ограниченная версия, она качает только одну пикчу и её предпросмотр в папку C:\gelbooru_test
Линк на РОС - http://dl.getdropbox.com/u/1474642/galboorudl.exe
Ждите полной версии
>> No. 791
И, да, иконка временная и извиняюсь за опечатку в названии эксешника.
>> No. 792
>>790
На чём писал?
Исходники выложи под лицензией WTFPL.
>> No. 793
>>792
AutoHotkey, потому-то скорее всего и не будет линукс-версии.
Да, знаю, быдлокод.
Исходники будут у финальных версий, сырцы сырых версий я выкладывать не буду.

Насчёт WTFPL - хорошая идея, скорее всего, под ней и буду выкладывать %)
>> No. 794
Кстати, а это что такое?
http://danbooru.donmai.us/forum/show/19498
>> No. 795
>>794
Просто еще граббер данборы.
>> No. 796
>>789
Если не можешь зойрегестрироваться, можешь использовать mylingual.net
>> No. 797
Файл: 125165572723.jpg-(118.12KB, 480x619, 1250467476735.jpg)
797
Делал идентичную консольную прогу для сайта rule34.paheal на быдлошарпе, она записывала ссылки на изображения в текстовый файл, а оттуда можно было дмастером все быстро скачать, хотел делать виндоблядский интерфейс но жутко гребет, если кому надо могу выложить.
>> No. 798
>>797
Выкладывай.
В хозяйстве всё пригодится. :3

Алсо, я тут подумал.
Очевидно, что у каждого быдлокодера есть небольшая кучка наработок/программок/классов/библиотек самописных или исправленных||модифицированных и прочего полезного и не очень в быту.
Был бы неплох какой-нибудь сервис, где можно было бы выложить свои небольшие поделия, которые для крупных (CodePlex, Sourceforge и других) как-то не солидно.
>> No. 799
Файл: Rule34_Console.rar-(18.79KB)
799
>>797
>> No. 802
Писал скрипт на похапэ, который выковыривал с данборы все ссылки на картинки для нужного тега.
>> No. 803
Итак, прогресс есть, новая версия качает уже не одно, а два изображения %)
>> No. 804
>>798
googlecode, например.
>> No. 811
http://code.google.com/p/danbooru-v7sh-grabber/wiki/Main
>> No. 812
>>811
Как заставить работать это под виндой?
>> No. 813
>>803
Жду версия под номером 900.
>> No. 814
>>813
slfxd

>версия

версию
>> No. 817
>>812
cygwin + bash же.
>> No. 818
>>817
Мне это ничего не сказало. Совсем. Можно как-нибудь, совсем для немощных.
>> No. 819
>>818
cygwin http://www.cygwin.com/
1) Качаешь
2) Ставишь
3) Устанавливаешь в т.ч. bash, curl, что-то там еще (см. внутренности скрипта)
4) запускаешь по манулу на странице в гуглкоде
5) ??????
>> No. 822
Файл: 125192264930.jpg-(28.42KB, 677x342, 111.jpg)
822
>>819
Скачал. Поставил все с дефолтными настройками. Скрипт засунул в C:\cygwin\home\user
Пытался писать, как в гуглокоде, но что-то видать, оно отказывается со мной сношаться. Вернее ничего не происходит.
>> No. 827
>>822
Хммм.
ок, я посмотрю его в цигвине сегодня вечерком, как винду загружу.
>> No. 828
>>827
Спасибо, буду ждать вестей <3
>> No. 829
>>828
Извини, но я его тоже не осилил.
У меня, например, не работал curl. Вообще никак, т.е. Никаких ошибок никуда не выводилось, ничего - просто curl выдавал пустой выхлоп на любой запрос.
В общем, значит способов запустить это под виндовс нету.
>> No. 830
>>829
Хм, в теме на данбору (http://danbooru.donmai.us/forum/show/19498) :
>Also i have reports of running it on MinGW for windows, so it most likely should run in every posix-compatible environment.
>running it on MinGW for windows
>MinGW
Что это есть? :3
>> No. 831
>>830
Ты меня извини, но загуглить по слову mingw и найти mingw.org ты, по-моему, вполне мог.
>> No. 832
>>831
Мог и даже и пробовал. Результат таков же. Хотя, толком не разобрался в этом деле.
>> No. 833
Оп, задумка уже стухла?
>> No. 852
Бамп.
ОП, что с граббером?
>> No. 853
Файл: 125258589167.png-(9.23KB, 483x190, gelboorudl_beta1.png)
853
>>833
Нет.
>>852
Всё охуенно.

Текущая бета может скачивать до 25 найденных пикч(ровно столько находится на одной странице с выдаче поиска).
Сейчас пытаюсь пофиксить небольшие баги и сделать возможность качать больше 25 изображений.
>> No. 854
UPD: Теперь граббер может качать любое кол-во пикч(вроде) но пиздец как медленно.
Сейчас буду пытаться снизить кол-во скачиваемых временных файлов.
>> No. 855
>popoffka
>> No. 856
>>855
О боже, ты меня деанонимизировал! :O
Теперь буду подписываться так
>> No. 857
Файл: 125259219814.jpg-(30.14KB, 283x283, d0f2adc170c456cc612230261b633609.jpg)
857
>popoffka
>> No. 858
>>854
>Теперь граббер может качать любое кол-во пикч(вроде) но пиздец как медленно.
Сколько он одновременно тянет? (пикч).
И да, на гелборе скорость всегда не очень, так что особо не парься.
>> No. 859
>Сколько он одновременно тянет? (пикч).
Одну, больше встроенными возможностями языка сделать нельзя, так-что буду пытаться реализовыать это через внешние либы.
>> No. 867
>>859
Скоро ли будет выложено?
>> No. 870
>>867
К сожалению, есть определённые, пока-что ещё не решённые проблемы, которые необходимо решить до релиза.
Такие дела, да.
>> No. 871
Файл: 125319246382.png-(266.24KB, 589x813, 1237093414176.png)
871
>>870
Ничего, спасибо за то, что ты делаешь такую нужную программу.
>> No. 874
Есть такое давно уже. На питоне и кроссплатформенно.
>> No. 875
>>874
Питон - гавно.
>> No. 876
>>875
Есть что-то лучшее для кроссплатформенных скриптов? Расскажи-ка.
>> No. 882
А ссылку на подскажеш?
>> No. 883
>>876
Кроссплатформенность не нужна.
>> No. 884
Я имел в виду ссылку на скрипт.
>> No. 886
>>884
Для данбуру выше кидали, вот для гельбуру http://dpaste.com/96197/

>>883
Пошла нахуй толстота, если по делу ничего сказать не можешь.
>> No. 894
А есть подобные скрипты для chan.sankakucomplex.com?
>> No. 895
>>894
Там движок данбуры, замени здесь http://nopaste.info/cee56adf98.html HOST.
>> No. 897
Благодарствую.
>> No. 904
>>829
А у меня запустилось, настраивал по этому мануалу:
http://www.linux.org.ru/view-message.jsp?msgid=3665745
>> No. 905
Файл: 125385214784.jpg-(104.98KB, 667x332, Буфер обмена-1.jpg)
905
Забыл пруф.
>> No. 909
>>904
А у меня напрочь отказалась сношаться с моей вин7. Или же со мной.
Олсо непонятно, что ты там настраивал.
Можно весь порядок произведенных действий, ось и т.д
>> No. 910
Файл: 125388388115.jpg-(15.84KB, 666x335, Буфер обмена-1.jpg)
910
>>909
[spoiler]Возможно слегка сумбурно, но не программист.[/spoiler]
ось- Windows XP SP2, Net.Framework и всё, что нужно, папка Cygwin после установки занимает 3,31 ГБ
1.Скачал всё, что было предложено Cygwin, весит около 930 мб.
2.Затем перенёс граббер в папку "C:\cygwin\home\Аноним".
3.Запустил Cygwin, открылось окно , ввёл
>$ sh grab.sh -d -dm 333
для настройки папки, куда загружать.
4.
>$ sh grab.sh -w -u логин -p пароль
, указал свой логин и пароль.
5.
>$ sh grab.sh -d somethingtag
, для начала закачки.
>> No. 911
>>909
>вин7
Несовместимость, Cygwin совместима с осями до XP.
>> No. 914
Файл: 125393761871.png-(6.81KB, 669x338, Screenshot00037.png)
914
Запустил cygwin на XP, работает. Но качается довольно медленно (это проблемы Данбуры?) и при попытке скачать по двум тегам выдаёт ошибку 500.
>> No. 916
>>914
Да скорость очень небольшая и дело в Данбуре, тут ничего не сделаешь. А 500 и у меня выдаёт.

910-кун
>> No. 917
>>910
>3,31 ГБ
Не хрена себе. Она у меня не больше 50 метров весила установленная.
>Несовместимость, Cygwin совместима с осями до XP.
Бээ... не хочу на xp лезть =\
Спасибо :3
>> No. 921
>>917
Ну я скачал, всё так, как вроде бы Cygwin позволяет запускать программы для Linux-осей.
>> No. 929
>>917
http://ru.wikipedia.org/wiki/Сервисы_Microsoft_Windows_для_UNIX
>> No. 949
>>773
Кстати Оп-кун, как идёт разработка твоей программы.
>> No. 968
Я полагаю, что ОП-кун забросил программу.
Очень жаль, ведь она пригодилась бы каждому второму Анону.
>> No. 969
Тред не читал, мимо проходил, видил ссылку на подобную прогу.
>> No. 970
>>968
Да кому она нужна? Уже есть кросплатформенный скрипт-граббер.
>> No. 971
>>970
Во, о нем и говорю.
>> No. 972
>>970
Линк, или хотябы название.
>> No. 973
>>972
В гугле забанили?
>> No. 974
>>973
Я даже названия скрипта не знаю, как мне его искать?
>> No. 975
>>974
Как можно быть таким идиотом? Все скрипты есть выше в _этом_ треде.
>> No. 976
>>975
>http://nopaste.info/cee56adf98.html
>http://danbooru.donmai.us/forum/show/19498
>http://dpaste.com/96197/

Третья ссылка давно сдохла... Хотя возможно как раз она то и подошла.

Это собсно все что есть в _этом_ треде.
Если ты мне укажешь хоть на один скрипт подхдящий для Gelbooru, я буду тебе благодарен.
Если нет иди гадь в другом месте.
>> No. 977
>>976
Потому что блядский dpaste удолил, надо же было быть разработчикам такими дебилами, чтобы ставить такое маленькое количество дней по умолчанию.

Вот на ЛNСПоте норм пацаны -- бесконечно по дефолту.
http://paste.lisp.org/display/88256
>> No. 978
>>977
Спасибо за линк.
>> No. 979
Файл: 125489022533.jpg-(132.46KB, 667x515, 2009-10-07_081920.jpg)
979
Таки я смог скачать через Цигвин и этот граббер.
Делал все по описанию >>910-куна.
Но скорость закачки просто убивает меня.

Что касается Гелбуры, с нее тоже можно граббить. Далеко не самый удобный и быстрый способ, но кое-как работает.
1. Нужен Firefox и два расширения к нему: Auto Pager и Image Host grabber.
2.Открываем Гелбуру, вбиваем нужный тег.
3. На первой открывшейся странице жмем левую кнопку мыши, выбираем Auto Pager->Загрузить немедленно->Все страницы. Ждем прогруза всех страниц с пикчами.
4.Когда все страницы прогрузились, выбираем Image Grabber->Get all pics on page. Указываем папку.
5.Качаем и радуемся.
Но это, понятное дело, то еще шаманство. Прога ОПа была бы в разы удобнее. Все же надеюсь, что он ее доделает.
>> No. 982
>>979
Ну из-за таких, как мы любителей дампа, скорость такая и данбоора часто лежит. Я обычно ставлю загружаться и ухожу спать^H^H^H^H^H пить кофе.
>> No. 985
Файл: downloader_pl.txt-(46B)
985
Анон, я слоу, потому что первый раз за последние полтора месяца на бордах, но на, держи мою однодневную поделку, недавно стояла подобная задача. Правда выкачку так и не дописал, но сохраняет ссылки картинки по тегу в файл, еще плохо обрабатывает обратные страницы(ссылок в 2 раза больше получается). В каких-то дальних планах допилить до нормального состояния, делать картинкам теговые имена, вместо хеша, в общем пообные красявости.
Алсо, вроде работает почти правильно.

Да, если подскажешь кросс-картинкосайтовое решение как с индеспоиска переместится сразу на теги без кучи кода, буду благодарен.
>> No. 986
Я так же решил написать свой гельбуру довнлоадер, только на PHP.
>> No. 987
>>986
С сохранением в фалы типа tag1 tag2 tag_3.jpg
>> No. 988
Пример вывода: http://danbooru.itpaste.ru/780
>> No. 989
>>988
Красявости это 20 минут написания кода. Да и вывод не сильно нужен, имхо скрипт лучше пускать демоном, чтоб на дохлых каналах не занимал отдельную консольку. Кросссайтовость намного важнее, чтоб и с гелбуры качал и с коначан-подобных, и разных еше. Одна вешь на все случаи жизни.
>> No. 1019
И как это юзать? Объясните для гуманитария.
>> No. 1023
>>1019
Читай тред там всё описано.
Если не понял — гугли доки.
>> No. 1025
>Кросссайтовость
мне нравится это слово!
>> No. 1046
Судя по всему идея Оп-куна спёклась.

капча с Кёном смотрит недоверчиво.
>> No. 1059
Файл: 125648016538.png-(88.61KB, 761x538, ang.png)
1059
Будет вам граббер (если не забью, конечно). Пикрелейтед.

Не-ОП-кун
>> No. 1094
ну как успехи?
>> No. 1102
Файл: 125674828890.jpg-(202.28KB, 549x360, 124207810949.jpg)
1102
>>1059
Ни в коем случае не забивай. Принимай вагоны нефти авансом.
>> No. 1109
>>1059
Анон, ты для каждого сайта хардкодишь ссылку, или что-то хитрее придумал? Поделись идеей, если хитрее, я допишу свой нищеперлограбер, за неимением средств на дорогие загуенные системы.
>> No. 1123
Файл: 125694101448.jpg-(58.86KB, 950x592, Clip289.jpg)
1123
...Пока никто не заметил, подменяю первую версию второй

http://zefiris.su/files/imget.7z

Теперь должно нормально работать. Гельбуру поддерживает поиск по двум тегам сразу, мое.имото, вроде, нет, сразу выдает 0 результатов. Искать пустые теги по-прежнему не рекомендую. В целом должно работать нормально, расширить на другие сайты на подобном движке не должно быть сложно.
>> No. 1124
Файл: 125694195943.png-(4.41KB, 648x205, Clip290.png)
1124
>>1109
Не знаю, как он, но я ничего сильно общего не углядел - отличий как между форчаном и автобусом. Потому сделал на внешнем файле всё. Там не так много и надо-то
- общий вид ссылки поиска
- общий вид ссылки на n-ную страницу результатов (для поиска номера последней страницы в частности - находим ссылку, подходящую под маску, с максимальным числом под звездочкми)
- общий вид ссылки на пост (главное - идентифицировать <a в котором идет нужная ссылка)
- общий вид ссылки на полноразмерную картинку (аналогично, находим <a со ссылкой на картину по какому-нить определителю)
- строки, отличающие СФВшность картинки
и, вроде, всё.
>> No. 1128
Файл: danbooru_donmai_us.txt-(431B)
1128
Попытался сделать, чтоб работало на Данбуре, ничего не выходит. ЧЯДНТ.
>> No. 1129
Файл: danbooru_donmai_us.txt-(419B)
1129
>>1128
На данбуре какая-то фигня с необходимостью регистрации и прочего, хотя вроде качает средствами ИЕ, так что если в ИЕ залогинен, то должно быть пучком. Сам с этим сайтом связываться не хочу, надеюсь, что в целом ссылки ты правильно написал, только под особенности программы исправил файл.

>listpage=http://danbooru.donmai.us/post/index?page=&commit=Search&tags=
убери последние две звездочки.
Программа будет искать ссылку, содержащую текст до двух звездочек и текст после двух звехдочек, и то что на месте звездочек прочитает как номер страницы в найденной ссылке. Из всех номеров найдет максимальное - и сочтет это номером последней страницы.

>link=/post/show//
link=/post/show/
Просто идентификатор, что обязательно содержит ссылка на пост

>prefix=http://danbooru.donmai.us/
prefix=http://danbooru.donmai.us
Что добавить к началу ссылки, найденной по link. Если там полная ссылка - то ничего не надо, если ссылка со /, то в префиксе / на конце не надо
>> No. 1130
>>1124

Плохо глядел

1059-кун
>> No. 1131
Файл: 12570210607.jpg-(159.98KB, 800x1050, 9d2e5987f54e15acf2f9cae59184b464.jpg)
1131
>>1129
Благодарю за помощь.
>> No. 1132
>>1130
Пояснишь, или секрет фирмы?

>>1131
заработало?

Могу на досуге поработать над добавлением других сайтов, которые хорошо себя ведут, только скажите, какие надо.

Кстати, можно запускать скачку по разным наборам тегов одновременно - главное чтобы с одного и того же сайта (поэтому выбор сайта блокируется, когда идет хоть одна закачка).
>> No. 1133
>>1132

http://gelbooru.com/index.php?page=dapi&s=post&q=index&tags=...

http://http://danbooru.donmai.us/post/index.xml?tags=...

1059-кун
>> No. 1134
>>1133
интересно, спасибо

не знал, что у них апи есть, очень удобно
>> No. 1135
>>1134

У всех сайтов что на моем скрине есть апи, документация в помощи

1059
>> No. 1136
>>1124
>но я ничего сильно общего не углядел
достаточно много общего. страницы можно брать из блока с ид paginator, оно везде одинаково, только отсеять повторные.
Картинки берутся из ссылок внутри которых есть img(в коначанподобных можно сразу брать ссылку на картинку, в гелборе ее еще добыть надо, т.е. повторная загрузка страницы с одной картинкой).
единственная проблема для что ссылка поиска разная, если сделать, чтоб она сама формировалась, то можно будет создать скрипт, которому можно будет в ручную задавать хост с гелбору или коначан движком, и он будет качать и оттуда. Вроде как надо пост-запрос послать. Вот собственно форма:
<form action="index.php?page=search" method="post">
<input id="tags" name="tags" size="30" type="text" value="" /><br/>
<input name="searchDefault" type="submit" value="Search" />
</form>
а потом просто парсинг полученной страницы как первой в поиске.
>> No. 1137
>>1133
А с этой штукой так вообще просто
>> No. 1138
Файл: 125702948162.jpg-(99.57KB, 1067x591, Clip291.jpg)
1138
Итак, внезапно всё упростилось. В текстовиках теперь только сама ссылка. pid отличается от page тем, что начинается с нуля - нумерация страниц разнится от сайта к сайту. Danbooru лично у меня так и не заработал, но текстовик оставлю, вдруг у меня с айпишником проблема. Теперь можно запускать сколько угодно тегов откуда угодно - после нажатия на пуск программа немного потормозит, выкачивая странички и выгребая нужное число ссылок, дальше ссылки будут качаться в фоне. Индикатор внизу показывает прогресс от обещго числа запрошенных картинок.

http://zefiris.su/files/imget2.7z

Спасибо, 1059-кун, сильно облегчил жизнь.
>> No. 1139
Файл: downld_pl.txt-(2.90KB)
1139
出来た же! Дописал свой свободноскрипт, теперь это качалка со всех коночан и гелбуру-подобных ресурсов. Требует LWP::Simple, XML::Parse(вроде в стандартной поставке идет). Что значат опции написано в юсаге, есть опция типа докачки(в планах докачка а не похожее действие). С гелборы качает почему-то на один файл меньше, причем откуда-то из середины, видимо где-то единицу пропустил. Качает по одному тагу, но имхо не сильно большая проблема. Проверил, вроде работает.
>> No. 1145
>>1138
После того, как залогинился в данбуре через IE, всё заработало.
>> No. 1147
Где-то выцепил.
http://pastie.org/private/fhmtm5xnkspj8qhrwmpw5w
>> No. 1148
>>1147
Слишком много берет страниц, при работе с апи это не нужно, с гелбурой работать не будет, там страницы генерятся как /index.php? а не как /post/. Использовать вгет не нужно, можно по сути то же самое одним вгетом сделать, без лишних скриптов, опций надо будет в 6 раз больше, только обьем команды займет в 10 раз меньше места, чем оболочка.
Да и питон как бэ не создан для паринга. import re намекает.
>> No. 1150
>>1145
Это очень хорошо. Какие ещё борды в народе пользуются хоть чем-нибудь?

Алсо, принимаются пожелания по улучшению программы, но ничего не обещаю.
>> No. 1152
>>1150
крута бы сорцы
>> No. 1156
>>1152
а) оно на дельфях
б) мне стыдно, я быдлокодер
>> No. 1158
Натолкнулся на одну проблему. Если сохранять картинки с именами тагов по принципу "$id $tag", то ингда попадаются картинки, у которых этих тагов выше крыши, и они не лезут в файловую систему по длине имени файла. видимый выход - начать резать теги с конца, пока строка тегов не составит порядка 240 символов(ну там еще 15 под разрешение номер и т.п.). Анон как ты думаешь, можно решить эту проблему по другому?

>>1156
Максимум в 0 картинок должно качать все, а не 1 картинку. Интуитивно же.

Алсо, пилю прогрессбары и прочие красявости(точнее уже запилил, только додебажить осталось), еще думаю запилить линкер, который будет ходить по скачаным папкам и ставить симлинки в соответсвии с тегами, чтоб не качать по 2 раза одни и те же картинки.
>> No. 1159
С данбуры не качает, ЧЯДНТ?
>> No. 1160
>>1158
>Анон как ты думаешь, можно решить эту проблему по другому?
- вывод в архив без сжатия
- вывод в $id и текстовик с $id - $tag
- сокращение тегов

>Максимум в 0 картинок должно качать все, а не 1 картинку. Интуитивно же.
согласен, ступил.

>симлинки в соответсвии с тегами
а вот это интересная идея, факт.

Ещё стоит добавить поле исключений - с какими тегами НЕ качать.

>>1159
залогинься на данбуре через IE, чтобы в куках осталось. Иначе - никак, анонимусов данбура сильно режет.

т.к. моя прога лишь временное средство, написанное ради лулзов, я её давно дропнул, ждем релиза от >>1158-куна.
>> No. 1163
Файл: dwnldr_tar.bz-(3.78KB)
1163
Версия 1.99. В принципе основная функциональность есть. Качает, прогрессбар рисует, время показывает. Из неудобств - зависимость от LWP, которого нет в стандартной поставке.
В комплекте линкер, там в юзаге(с -h опцией) написано как пользоваться.
Как скачаю пакователь, заверну в .exe, будет версия под проприетарные системы.
Работает со всеми данбуру-подобными иб, кроме самой данбуры(мне лень там акк регить, иначе бы приделал авторизацию для нее).

>>1160
Текстовик конечно годно, но тогда нужно будет его открывать, чтобы что-то найти. Хотя с текстовым файлом из скриптов работать проще, но это уже будет написание своей миниданбуры. Подумаю над развитием этой идеи, давно хотел в свою серверосмотрелку поиск приделать.
>> No. 1165
>>1163
интересно, а просто http://danbooru.donmai.us/user/authenticate?user_name=<username>&user_password=<password>&url=<url> прокатит? возможно, правда, вместо user_name - user[name], я не помню, id используется или name. Я тоже не зареган, проверить не могу. Так что может кто из зарегеных попробует разголиниться и пройти по заполненной вышепредставленной ссылки и сказать, что вышло?
>> No. 1166
Файл: downld.7z-(2.03MB)
1166
Немного приболел, да и активперл 5.10.1 коряв, и не хотел мне его паковать, но я все же победил.
Экзешник пускается из командлайна. В юзаге все есть. Естественно, скорость запуска не ахти, но 2 лишние секунды по сравнению с 10 часами выкачки картинок - ерунда имхо.
Гуя пока не планирую, но кто знает, если найду хорошие, годные маны по винапи, то возможно(свободную версию тогда на гтк, оно мне больше нравится).
Вот какого хрена Шмион на капче?
>> No. 1179
Эм. Господа.
Получается сейчас идёт разработка 3 грабберов данборо-образных сайтов?
>> No. 1183
>>1179
Каждый делает себе свой скрипт с картами и девушками, unix-way, что с ним не так?
>> No. 1184
Файл: 125766957399.jpg-(53.61KB, 423x600, 1256360525576.jpg)
1184
>>1179

Нет, я забил. После того как открыл тайну великой апи и все ломанулись ваять овер 9000 скриптов, подумал - нахуй кому-то нужен мой быдлокод, тут сидят люди которые могут сами себе запилить грабер с блекджеком и шлюхами.

1059-кун он же 799-кун
>> No. 1186
Выкладываю свою быдлоподелку на быдлопохапе: http://paste.org.ru/?94n5bx
>> No. 1188
>>1184
Ты совершенно не понимаешь, в чем суть давайте-напишем-данбору-грабер треда. Это скорей обмен опытом чем создание чего-то великого в одиночку.

>>1186
для него вебсервер нужен, тебе самому удобен скрипт, который берет тег абы как, да и держаь 10 часов открытым браузер и эти же 10- часов напрягать вебсервер, нехорошо же.
>> No. 1190
>>1179
тут идет скорее дискач, да, все выложенные хоть сколько-то рабочие версии находятся в состоянии "я уже забил".
>> No. 1191
>>1190
Я пока не забил, но недолго осталось, коль работает. Отдебажить, мож плюшек вроде мультитегов наделать, вроде больше ничего и не надо.
У меня висит другой проект, в котороый надо так глубоко погружаться, что не прет, вот и развлекаюсь написанием всякой ерунды.
Перл-кун
>> No. 1192
>>1188
Нет, этот скрипт консоль-онли, из вебсервера не будет работать. Вообще.
[i]Пхп-кун[/i]
>> No. 1194
Файл: 125770774222.jpg-(497.24KB, 702x855, 1256316432271.jpg)
1194
Те кто сейчас пилят скрипты делают многопоточную загрузку пикч? Если нет, то продолжу пилить свое. У меня подразумевалась отдельная загрузка ссылок в 1 поток и одновременно загрузка пикч в 5-8 потоков.

>>1188
Обмен опытом? Даже для такой второкурсоты как я сделать такой скрипт как два пальца

1059-кун
>> No. 1195
>>1194
>>1138 получает набор ссылок на картинки в один поток (главный) и качает примерно в 10 фоновых потоков (хотя некоторые сайты больше 3-5 не пускают). Но это не скрипт, это гуета.
>> No. 1198
>>1194
А кто-то говорил про написание ядра ос? Разумеется, что в написании 20-строчных скриптов нет ничего сложного, однако подходы все равно разные, суть обмена опытом в том, чтоб посмотреть как делают другие, помочь им выявить ошибки и найти свои. Иногда в полнейшем быдлокоде можно найти достаточно хорошие решения.
>> No. 1202
Файл: 125785506298.jpg-(106.23KB, 845x598, screenshot.jpg)
1202
А вот мой клиент под данбору и подобные движки, с преферансом и блудницами!

Похож на программу >>1138-куна, но с некоторыми дополнениями:

-авторизация на danbooru
-все закачки, в том числе и для списков, идут в фоне, можно остановить в любой момент.
-выбор картинок по рейтингу, облаку тэгов.
-можно начать новый поиск по тэгам, выбранным в облаке
-предварительный просмотр
-можно выбрать количество потоков для скачивания

Для того, чтобы работала авторизация на данборе, надо открыть файл Danbooru.txt, и заменить USER и PASSWORD на данные своего аккаунта.

Программа: http://rghost.ru/599874
Исходники (c#): http://rghost.ru/599929

Не пинайте ногами за быдлокод :3 До этого писал исключительно на c++, решил попробовать свои силы в шарпе. Удобная штука оказалась!
>> No. 1204
>>1202
Выглядит симпатяво. Ты выиграл! :3
>> No. 1205
Файл: 125787786688.jpg-(0.98MB, 1000x1412, 2d2d2eff952cd80b5d2094b7ca57d5defb9aa970.jpg)
1205
>>1165
Не прокатывает по такой ссылке. И да, там нужно писать в виде user[name], а затем отпралять post - запрос
>> No. 1206
Файл: 125787945334.jpg-(268.04KB, 750x1000, no_mercy_by_strayshadow.jpg)
1206
>>1202

Это Винрар, не быдлокод и с комментариями. Офигенно, молодец.
Не мешало бы имена файлам нормальные делать, например %ид_поста% - %теги%.
Еще браузер тегов добавить можно.
А облако тегов действительно sloooooow, сделал бы в отдельном потоке чтоб не зависала форма.

1059
>> No. 1207
>>1202
Огромное спасибо за исходники. Будем воровать, и убивать время напианием *nix-версии по мотивам.
Авторизацию данбуры имхо лучше на форме делать, а предпросмотр ненужен, пропадает элемент рандома и получается та же данбора, только без рекламы интимных актов в соц. сетях.
>> No. 1209
>>1207
Нет, предпросмотр всё-таки нужен, ящитаю, ибо лучше отсеивать пикчи сразу, чем потом.
>> No. 1210
Файл: 125796669577.jpg-(98.59KB, 600x600, cc373f44c3664c93d96e42d0c6d3736f3d5da53b.jpg)
1210
>>1206 спасибо! По поводу имен файлов я думал, но тэги туда могут просто не влезть. Сейчас попробую сделать так, чтобы юзер мог сам задавать имя файла в виде строки, например так:"id - rating - maintags"... А что за браузер тэгов? По поводу отдельного потока для облака - то что надо, спасибо за идею.

>>1207 огромное незашто :3 Но врядли исходники помогут для *nix'ов, ведь все основные функции работы с сетью там реализованы через .NETовские компоненты, боюсь их придется вручную переписывать. Ну или искать либы с похожими функциями. А дотнет же вроде можно и так под линуксом запускать? Для авторизации это всмысле добавить на форму окошки для логина и пароля? Предпросмотр если не нужен можно отключить.
>> No. 1217
>>1210
Ты в какой студии делал? VS'08 солюшн почему-то не открывает.
>> No. 1218
А, ну и хрен с ним с солюшеном — проджект открылся.

Круто. С комментариями! С нормальными именами полей и методов!

Только не забывай про комментарии вида:
/// <summary>
///
/// </summary>

В этих шарпах они вещь очень и очень удобная.
Алсо у тебя Class1 с такими комментами.

И
#region name
#endregion
Тоже удобная на мой вкус штука.

Остальные придирки я стёр, т.к. это уже придирки к стилю оформления кода :3
>> No. 1219
Файл: 125800938729.jpg-(433.45KB, 950x800, cbf4000e8efa74c007723040c970700939e666e5.jpg)
1219
>>1202
Спасибо, очень молодец. Мне было лень воздвигать у себя на машине всякие интерпретаторы скриптовых поделий, что были выше и.т.д. и.т.п. До тех пор, пока ты не выложил Win32 приложение. И теперь я уже вторые сутки насилую гелбуру и не могу оторваться. Засранец ты всё таки. Было такое дело - по тэгу вышло пару тысяч картинок на закачку, ну качало оно, качало, а потом выключили интернет. Оно скачало где-то ~300 пустых картинок моментом, тех, что не успело фактически докачать. Я кое как по превьюшкам нашёл, где остановился, но три сотни картинок ручками помечать - запарно, надо что-то с этим сделать. Так бы я зашал shift, нажал end и одним нажатием пробела поставил галочки бы сразу для всех. Ну в общем дело твоё - как эту проблему решать и стоит ли вообще её решать. По превьюше, надо сказать, тоже не очень уж удобно искать нужную позицию.
Пиканрелейтед.
>> No. 1220
>>1219
>>1166
портировал же без требований интерпритатора
>> No. 1221
>>1220
Гомен, значит я не заметил.
>> No. 1222
>>1220
И да, без GUI мне тоже лень было с этим возиться. Я конечно понимаю, что ничего сложного и всё такое, просто лень - это лень, у неё своя, особая природа.
>> No. 1223
>>1222
имхо использование гуя требует намного больше телодвижений, чем написание одной строчки, хотя это зависит от использующего.
Сяду пилить разные штуки, в том числе эти ваши гуи как только появится настроение вообще что-либо делать.
>> No. 1226
>>1202
Во, я баг нашёл. Мои действия:
Ввожу тэг, жму кнопку, скачать всё автоматически, жду. Скачивается гд-то 100 картинок из 300. Поменял в поле тэга, тэг на другой, но ничего не жал. В результате оставшиеся 200 картинков скачались в папку, названную в соответствии со вторым тэгом.
>> No. 1237
Мои поделки на баше:
Для гельбуры: http://paste.org.ru/?07u74d
Использование: ./gelbooru.sh первый_тег второй_тег и_третий
Для данбуры: http://paste.org.ru/?1dbep7
Использование: ./danbooru.sh первый_тег второй_тег и_третий
Сохраняют они оба в папку files.
P.S. Не забудьте изменить логин и пасс в danbooru.sh
_Зой чанспида_
>> No. 1239
>>1237
а в один скрипт собрать сам никак?
>> No. 1242
>>1239
Потом будет сразу для всех
>> No. 1244
>>1217 делал в 8 студии, потом решил поставить 10 и переконвертил туда. Похоже что сфейлил, потому что ничего нового кроме тормозов и шрифта в ней не появилось.

А комментарии вида
/// <summary>
///
/// </summary>
это те, которые во всплывающих подсказках к методам и переменным отображаются? Учту, спасибо.


>>1219 на здоровье! Гелбура имхо от этого не очень страдает, тем более что не дает больше чем в 2 потока качать... С мультиселектом в списке хорошая идея, да.

>>1226 ага точно, есть такой баг. И еще недавно нашел, что если в списке ничего не кликать, иногда при нажатии на download выдает сообщение, что список пуст.

Сейчас некогда возиться особо, но я все замечания и предложения запомнил, думаю в выходные попралю и выложу новую версию
>> No. 1256
>>1244
Стесняюсь спросить, а с инструкцией foreach вы знакомы?
>> No. 1276
нужна прога для скачивания всех картинок с макрочана по тегу,по аналогии с граббером.Осуществите?
>> No. 1278
>>1276
ты баклан. Нет, то есть я хотел сказать, что ты не умеешь составлять грамотные технические задания, но подумав, всё больше убеждаюсь, что верно первое. Где ссылка на сайт, для которого тебе нужна прога? Где хоть примерное описание того, как это хотелось бы видеть (в треде как минимум 4 граббера), где описание профита для пишущего?..
>> No. 1284
Я не >>1276-кун, но видимо он хочет видеть граббер по
http://12ch.ru/macro/
>> No. 1285
>>1284 я думаю, что речь скорее о http://macrochan.org/
>> No. 1286
>>1202
Как в этой штуке на данборе залогиниться?
>> No. 1287
А ограблялку пиксива прикрутите? Просто недавно заметил, что у винрарных художников часто на пиксиве куда больше пикч, чем на данборе.
>> No. 1305
Докладываю.

>>1138
Отлично работает под wine.
А вот >>1202 выдает ошибку.
>> No. 1306
>>1286
>Для того, чтобы работала авторизация на данборе, надо открыть файл Danbooru.txt, и заменить USER и PASSWORD на данные своего аккаунта.
Пост то прочитай.
>> No. 1307
>>1305

>>1202 под виндой тоже уже ошибку выдает, гелбора что-то поменяла или что, а автора смыло
>> No. 1310
>>1305
1138 работает через апи, там всё всегда едино, а 1202 - выкачивает и парсит страничку, и некоторые совершенно незначительные изменения в оформлении/структуре могут сделать парсер перестать работать. Именно поэтому в ранних не-апишных версиях 1138 настройки парсера были вынесены во внешние файлы.

>>1287
В теории можно написать универсальную выкачивалку картинок, настраиваемую под разные сайты, только я не умею авторизацию делать, хотя вариант с авторизацией через IE и дальнейшее уже хау-ау программой мне не кажется совсем уж плохим. Я подумаю.
>> No. 1324
Файл: 125992241787.jpg-(18.69KB, 500x336, 1241602831422.jpg)
1324
>>1310
>универсальную выкачивалку картинок, настраиваемую под разные сайты
>> No. 1327
>>1324
я уже пробовал сделать, решил, что настраивать замкнётесь. А удобный интерфес создания правил мне замкнусь делать я
>> No. 1329
>>1327
Да ничего твоя программа, одна из 2, которую я использую, так что добра тебе.
>> No. 1351
Ну так, что с pixiv'ом.
>> No. 1599
Бамп

[spoiler]Чебурашка на капче, лол.[/spoiler]
>> No. 1600
>>1351
Удваиваю вопрос.
>> No. 1601
У пиксива есть апи? Иначе не хочется возиться.
>> No. 1607
Самого апи не нашел, но нашел пару скриптов, на жс и питоне. Как доберусь, добавлю этот функционал в свою перл-качалку.
Алсо добавлю туда нормальную работу с данбурой и жсон-парсилку.
>> No. 1608
>>1607
Буду ждать и спасибо за твою скачивалку.

Капча "Юки" на что-то намекает.
>> No. 1620
Файл: 126495202419.png-(25.17KB, 771x423, untitled.png)
1620
>>1202
>> No. 1629
У пиксива есть нормальный апи? Или придется каждую страницу парсить?
Пока что напиание пиксивокачалки равносильно написанию нового скрипта.
Данбуру-логин прикрутил, жсон прикрутил, треадинг прикрутил, тестирую, пилю дальше.
>> No. 1635
>>1607
ждем-с
>> No. 1638
Лол, я добаловался, что качалку забанили на данбуре. Бедный тег ds.
запилю свн на всякий случай, чтоб не потерять: code.google.com/p/getbooru/
гуглекод корявый какой-то, совсем не так, как нужно делает.
Алсо, да, думал о безумной морде на ncurses и гуе кое каком, однако это когда-нибудь.
>> No. 1640
>>1620
saem shit
>> No. 1656
Файл: 126617307560.jpg-(115.66KB, 1280x720, snapshot20091117171540.jpg)
1656
>>1620
>taka_tony
See what you did there.
>> No. 1658
Файл: 126625061678.jpg-(153.14KB, 800x600, 6a5e85940320139f930bcceaf614f868.jpg)
1658
>>1656
Между прочим, на данборе больше 1000 пиков общим весом почти гигабайт.
>> No. 1664
Файл: 126654161380.jpg-(123.51KB, 950x700, 12665225053296.jpg)
1664
http://rghost.ru/1015981
Вот моя програмка для получения прямых урлов на картинки с chan.sankakucomplex.com.
>> No. 1665
>>1664
>fixme:shell:URL_ParseUrl failed to parse L"Newtonsoft.Json.Net20"
Возмождно вайнобаг, но факт есть факт.
Алсо, не вижу ничего сложного в получении ссылок с санаки, на данбуре все тоже самое, просто в санаке выключен xml.
>> No. 1689
Файл: 126735584229.jpg-(160.50KB, 1280x720, Lucky_Star_17[(066548)23-29-36].jpg)
1689
Автор BooruChan, у меня к тебе такое предложение. Не мог бы ты прикрутить функцию конвертирования списка закачек в командный файл для запуска вгета? Твоя прога качает отвратительно.
>> No. 1690
booruchan - developer кун на связи3
Извините что долго пропадал, - навалилась куча дел: сессия, работа.

Новый билд:
http://rghost.ru/1072664

Итак, сегодня исправил кучу багов и добавил несколько приятных моментов:

-программа не падает как на >>1620 скрине
-форма для логина и пароля для данборы (авторизация отлично работает под xp, а под семеркой как-то странно... если не будет логиниться, логинимся в данбору в IE и тогда нормально качаем)
-список тэгов генерится быстрее и в отдельном потоке
-можно сохранять картинки в отдельные папки для каждого нового поиска, как раньше, а можно все новые закачки скидывать в одну папку
-ну и наконец для >>1689 - держи поддержку wget!
В папке wget лежит wgetcmd.txt, а в нем настройка запуска wget'а с разными параметрами. В файл images.txt сохраняется список url'ов для скачивания. Огромный плюс скачивания wget'ом - поддерживается докачка. А прироста скорости особо не видно, как с гелборы, так и с данборы. Может можно как-то в несколько потоков им качать?

>>1310 неа, у меня все тоже через API работает

Со скоростью действительно совсем туго, но это беда серверов...

Кто-нибудь знает есть ли такой же API с xml на sankakucomplex и safebooru? Чего-то у меня так и не получилось оттуда ничего забрать.

Какие еще будут предложения? Могу еще допилить, только в выходные скорее всего.

По поводу pixiv'а я бы тоже подумал, но ничего там не понимаю, лол! Знающие лунный-куны, подскажите хотя бы что там за система - арт сортирован не по тэгам, а по художникам чтоли?
Как формируется поисковый запрос?

>>1664
У меня тоже падает, но под виндой, с FileNotFoundException. В какую папку по умолчанию файлы должны сохраняться? А исходники собираться не хотят, не хватает Newtonsoft.Json - чего это за компонент?
>> No. 1691
Файл: 126739405758.jpg-(563.61KB, 708x1000, d2e59ccca51722c715f8ba66730424ca6f14fd37.jpg)
1691
>>1690
http://chan.sankakucomplex.com/post/index.xml

limit (макс 100)
page
tags

Сейчас SafeBooru буду ковырять
>> No. 1692
Файл: 12673946819.jpg-(268.75KB, 534x822, 1265143083497.jpg)
1692
>>1691

Бака забирает свой пост обратно, похоже санкаку анально огородились (возвращает только <posts count="5225" offset="0"></posts>)
>> No. 1693
Файл: 126743586082.png-(33.20KB, 935x336, exceptions.png)
1693
<- Вместо тысячи слов.
>> No. 1694
Файл: 126745004515.png-(24.34KB, 562x357, Хоро - няшка же!.png)
1694
>>1690
Спасибо, анон. На днях протестирую.
>> No. 1696
>>1692
Санаку и не разгораживалась никогда. Как были жсон-онли, так и остались. А жсоном и с данбуры удобней брать, текста меньше получается.
Я копал пиксив, пришел к выводу что там есть тегование, которое работает непонять как, и можно выбирать еще и по художникам. Долго думал, какой вариант лучше использовать, но так и не пришел к какому-то мнению. Годного апи так и не нашел(есть ipod api, но я его не пробовал, поэтому не знаю). Найденые мной скрипты парсят страницы. Думаю писать модуль парсера для пиксивостраниц, чтобы возвращал примерно такой же контент как данбураапи, чтобы совать в одну и ту же функцию. Для полного счастья не хватает md5 картинки.
Немного еще покопал, там все просто в пиксиве. Несколько похпе страниц, каждая делает свое дело.
Как чуть освобожусь, вернусь к своей качалке.
>> No. 1698
Файл: 126751019259.jpg-(186.38KB, 668x843, 1249533736693.jpg)
1698
Анон, ты няшка
>> No. 1699
Файл: 126755993471.jpg-(113.31KB, 704x396, 1250347615484.jpg)
1699
>>1691 А у меня чего-то вообще пустой файл выдает при таком запросе. Может там $регистрация нужна?

>>1693 Анон, ты разделал мой день! Откуда такой эффект, я же вроде везде поставил проверки значений и отлавливалки exception'ов... При каких условиях выпадает? Ты все содержимое архива распаковал, старых фалов там не осталось? Судя по скринам, с папкой engine что-то не так

>>1694, >>1698 на здоровье же!

>>1696 а на гельборе жсон есть? Может к себе тоже парсер добавлю, для универсальности.
По поводу пиксива интересно, жду чего у тебя получится :3


Кстати, заметил что с утра с данборы качается намного шустрее, чем вечером
>> No. 1700
Файл: 12675688639.jpg-(2.68MB, 2872x1901, 9f4d1acf1a1f73484da25c4866c836c0.jpg)
1700
>>1699
Сырно посмотрела, что 2.0 фреймворк не подходит для Сильнейшей и обновила до 3.5, что, собственно и решило проблему.

Тонны добра и нефти уже вышли в твоем направлении, анон. Спасибо за программу!
>> No. 1703
>>В какую папку по умолчанию файлы должны сохраняться?
В текущюю.

>>А исходники собираться не хотят, не хватает Newtonsoft.Json - чего это за компонент?
Вот здесь берётся http://json.codeplex.com/releases/view/37810
>> No. 1708
Файл: 126774045072.jpg-(167.54KB, 1085x1532, f569f0321d88da25102cd0dae3d8b285.jpg)
1708
>>1690
Анон, ты лучший, спасибо за прогу.
А не мог бы ты, для полного счастья, выложить исходники новой версии?
>> No. 1712
Файл: 12679959832.jpg-(290.92KB, 1024x1004, 12672059832812.jpg)
1712
Бампаю тред с вином
>> No. 1714
Файл: 126820001010.png-(23.98KB, 526x472, 1263752436614.png)
1714
>>1690
Напиши уже в эбауте Anonymous. Думал, ты опечатался, а уже бля во второй версии...
>> No. 1715
Файл: 126823428994.gif-(355.06KB, 576x432, 1156692586953.gif)
1715
>>1714
Может, это он так выделиться решил.
Кто смотрит в about самого кроме автора?
>> No. 1716
Файл: 126823834458.jpg-(81.73KB, 450x675, 2ff42209975b5202ddcb7fda171e18be.jpg)
1716
>>1715 Я смотрел, например.
>> No. 1717
>>1690
Ошибка инициализации приложения. ЧЯДНТ??
>> No. 1718
Сделай лучше загрузку манги, со всяких так мангафоксов етк. Алсо, писал когда-то даунлоадер обоев с минитокио, впринципе могу поделиться.
>> No. 1720
>>1718 Сам бы и написал.
не ОП
>> No. 1721
Файл: 126829492673.jpg-(14.63KB, 234x176, 1210465045881.jpg)
1721
>>1718
Пиши загрузчик для своих нужд
@
Делись кодом
@
Участвуй в создании многофункционального лаунлоадера made by iichan/dev/
>> No. 1722
>>1721 Внезапная идея же. Расширять функционал путем добавления скриптов в папочку engine. Программа, сама по себе, будет инкапсулировать работу с интернетами, файловой системой и проч., в то же время предоставляя юзер-френдли интерфейс (что отсутствует у реализации классическими скриптами). Собственно дискач.
>> No. 1725
Файл: 12683184224.jpg-(104.34KB, 465x528, 1259954880984.jpg)
1725
>>1722
Собственно нужно брать готовый скриптовый движок, готовый модуль для работы с сокетами. Все это скомпоновать в своё нечто, которое будет обрабатывать добавляемые скрипт-модули для скачки чего-то откуда-то по такому-то алгоритму. Только здесь самое главное - попытаться обойтись без велосипедизма.
>> No. 1726
>>1722
>>1725
В перлокачалке я пришел к решению писать разные парсеры на разные сайты, которые в итоге должны возвращать структуру, похожую на жсон данбуры, т.е. расширять функциональность можно добавляя новый парсер.
Мне кажется реализовывать скриптовый язык для качалки - абсолютно ненужное занятие. Достаточно добавить возможность описывать структуру источников.
>> No. 1727
>>1726 Боже упаси, создавать свой скриптовелосипед. Просто меня очень привлекает сама идея: екзешная ГУЕвина и папочка со схемами | скриптами, которые совершенно не интересуют конечного пользователя.
>> No. 1728
>>1727
Любишь кататья, люби и санки возить.
>> No. 1729
Нашел небольшой баг. Необрабатываемое исключение, если в пути к папке есть недопустимые символы типа : \ ? (например если использовать тег :3).
Еще не помешает для наглядности рядом с прогресс-баром писать, сколько загружено/осталось картинок.
>> No. 1731
Файл: 126857624098.png-(24.40KB, 585x220, Clip314.png)
1731
>>1722
>Расширять функционал путем добавления скриптов в папочку engine.
Где-то я это уже видел :3

В идеале вобщем-то действительно достаточно сделать программу, которая заданным набором команд, специфичным для каждого сайта, получает набор ссылок на картинки, по тегам галереи, по ссылке на тред борды, имени пользователя девиантарта/пиксива. проблема в создании интуитивно понятного языка команд для обработки сайта, чтобы даже человек, с программированием не сильно знакомый )но не обделенный мозгами) мог нписать обработку под нужный ему сайт. У меня всё застопорилось на этом пункте...
>> No. 1737
Програмист-куну BooruChan большое спасибо. Если не слишком нагло, можно скриптик rule34 для него?
>> No. 1738
Файл: 126895688746.jpg-(25.31KB, 256x442, 7220450.jpg)
1738
See the end of this message for details on invoking
just-in-time (JIT) debugging instead of this dialog box.

* Exception Text
System.FormatException: Input string was not in a correct format.
at System.Number.StringToNumber(String str, NumberStyles options, NumberBuffer& number, NumberFormatInfo info, Boolean parseDecimal)
at System.Number.ParseInt32(String s, NumberStyles style, NumberFormatInfo info)
at BooruChan.CBooruXMLDownloader.ParseXMLBooruResponse(String strXML)
at BooruChan.CBooruXMLDownloader.DownloadStringCallback2(Object sender, DownloadStringCompletedEventArgs e)
at System.Net.WebClient.OnDownloadStringCompleted(DownloadStringCompletedEventArgs e)
at System.Net.WebClient.DownloadStringOperationCompleted(Object arg)


Loaded Assemblies
mscorlib
Assembly Version: 2.0.0.0
Win32 Version: 2.0.50727.1433 (REDBITS.050727-1400)
CodeBase: file:///C:/WINDOWS/Microsoft.NET/Framework/v2.0.50727/mscorlib.dll
----------------------------------------
BooruChan
Assembly Version: 1.0.0.0
Win32 Version: 1.0.0.0
CodeBase: file:///c:/Anime/ChanS/BooruChan/BooruChan.exe
----------------------------------------
System.Windows.Forms
Assembly Version: 2.0.0.0
Win32 Version: 2.0.50727.1433 (REDBITS.050727-1400)
CodeBase: file:///C:/WINDOWS/assembly/GAC_MSIL/System.Windows.Forms/2.0.0.0__b77a5c561934e089/System.Windows.Forms.dll
----------------------------------------
System
Assembly Version: 2.0.0.0
Win32 Version: 2.0.50727.1433 (REDBITS.050727-1400)
CodeBase: file:///C:/WINDOWS/assembly/GAC_MSIL/System/2.0.0.0__b77a5c561934e089/System.dll
----------------------------------------
System.Drawing
Assembly Version: 2.0.0.0
Win32 Version: 2.0.50727.1433 (REDBITS.050727-1400)
CodeBase: file:///C:/WINDOWS/assembly/GAC_MSIL/System.Drawing/2.0.0.0__b03f5f7f11d50a3a/System.Drawing.dll
----------------------------------------
System.Core
Assembly Version: 3.5.0.0
Win32 Version: 3.5.21022.8 built by: RTM
CodeBase: file:///C:/WINDOWS/assembly/GAC_MSIL/System.Core/3.5.0.0__b77a5c561934e089/System.Core.dll
----------------------------------------
Accessibility
Assembly Version: 2.0.0.0
Win32 Version: 2.0.50727.1433 (REDBITS.050727-1400)
CodeBase: file:///C:/WINDOWS/assembly/GAC_MSIL/Accessibility/2.0.0.0__b03f5f7f11d50a3a/Accessibility.dll
----------------------------------------
System.Configuration
Assembly Version: 2.0.0.0
Win32 Version: 2.0.50727.1433 (REDBITS.050727-1400)
CodeBase: file:///C:/WINDOWS/assembly/GAC_MSIL/System.Configuration/2.0.0.0__b03f5f7f11d50a3a/System.Configuration.dll
----------------------------------------
System.Xml
Assembly Version: 2.0.0.0
Win32 Version: 2.0.50727.1433 (REDBITS.050727-1400)
CodeBase: file:///C:/WINDOWS/assembly/GAC_MSIL/System.Xml/2.0.0.0__b77a5c561934e089/System.Xml.dll
----------------------------------------

JIT Debugging *
To enable just-in-time (JIT) debugging, the .config file for this
application or computer (machine.config) must have the
jitDebugging value set in the system.windows.forms section.
The application must also be compiled with debugging
enabled.

For example:

<configuration>
<system.windows.forms jitDebugging="true" />
</configuration>

When JIT debugging is enabled, any unhandled exception
will be sent to the JIT debugger registered on the computer
rather than be handled by this dialog box.

/////////////////////////////////////////////////////////////
Или делай, чтобы загрузку списка картинок можно было разделить на части, либо делай нормальную загрузку o9k списка.
>> No. 1781
Разработчик BooruChan, большое тебе спасибо, но я нашел один баг.
Если в тегах присутствует спец символ запрещенный для названия каталога, то он не качает.
Нашел глюк при попытке скачки по тэгам типа: "pool:XXX"
Можно ли это исправить?
Если тебе лень, то я могу и сам в исходниках поковыряться, но я не очень знаком с Сишарпом.
>> No. 1782
Файл: 126945170243.jpg-(441.05KB, 1280x1024, 48368ed03d28f20f987c98f14d53885a.jpg)
1782
>>1781
Блджадж, не успел исходники скачать, файл уже удален.
Кто-нибудь выложите исходники, пожалуйста!
>> No. 1784
Файл: 126952655856.jpg-(50.96KB, 519x577, 1258450547502.jpg)
1784
Кто-то говорил о скрипте для закачки с мангафокса. Выкладываю свой быдлокод на Python 2.5.
Надеюсь, это заработает не только у меня и принесет кому-нибудь пользу.
http://rghost.ru/1242241 - py-скрипт.
http://rghost.ru/1242258 - exe для винды.
В комплекте идёт README с кратким введением. Скрипт понимает ключ -h.
>> No. 1787
>>1784
Украду, как вернусь к своей качалке.
>> No. 1791
>>1784
>мангафокса
А он нужен? Они же каждую страницу зверски пережимают, да ещё и свой г-сайт внизу приписывают.
>> No. 1792
Файл: 127004549631.jpg-(351.07KB, 728x900, 63fe75dcc12516360dbbcb402ad154884ff0af44.jpg)
1792
>>1791
Ну, сайт, предположим, не везде приписывают. А вот сжатие мне тоже не нравится.
Если есть варианты получше, могу попытаться сделать движок расширяемым и запилить их поддержку.

Да, был найден баг. Тайтлы с делением по томам скрипт не воспринимает. Скоро поправлю и постараюсь
добавить поддержку деления по томам.

1784-кун
>> No. 1795
Файл: 127021881796.jpg-(126.07KB, 781x800, 2bc5537e68649da196c2af527a3734c4.jpg)
1795
Mangapokes 0.5
urllib вместо httplib, Python 2.6 вместо Python 2.5, обход ошибок сети, повторение попыток при ошибках, поддержка томов.
http://rghost.ru/1298770 - any.
http://rghost.ru/1298781 - win.

Такие дела.
1784-кун
>> No. 1815
А можно бору чан под линукс? Очень-очень надо.
>> No. 1820
Файл: 127054840428.jpg-(23.87KB, 360x460, 1-30days-pour-wine-lg-63555269.jpg)
1820
>>1815
>> No. 1822
Вино не решает всех проблем же.
Эжой мой лог.
(/home/anon/.wine/dosdevices/c:/Program Files/BooruChan/BooruChan.exe:9817): WARNING : Could not load file or assembly 'System.Windows.Forms, Version=2.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e089' or one of its dependencies.

(/home/anon/.wine/dosdevices/c:/Program Files/BooruChan/BooruChan.exe:9817): WARNING : Missing method EnableVisualStyles in assembly /home/anon/.wine/dosdevices/c:/Program Files/BooruChan/BooruChan.exe, type System.Windows.Forms.Application

Unhandled Exception: System.IO.FileNotFoundException: Could not load file or assembly 'System.Windows.Forms, Version=2.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e089' or one of its dependencies.
File name: 'System.Windows.Forms, Version=2.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e089'
>> No. 1823
Файл: 127057217422.png-(21.87KB, 128x128, Windows Explorer 2.png)
1823
>>1822
>> No. 1824
>>1815
Сх, перл, питон, выбирай любой и пиши к нему морду. Я сейчас в состоянии легкой меланхолии, и настроения ддосить данбуру своей качалкой нет, как появится, и реализую стабильную работу данбуры, буду заниматься написанием к ней морд.
Что-нибудь безумное на ncurses, или tk, лол.
>> No. 1825
>>1823
Как-то уж не адекватно.
>>1824
Кодить не умею, иначе не просил бы. Буду ждать версии под линукс и шаманить над версией под винду.
>> No. 1826
Файл: 127058330555.jpg-(60.13KB, 385x300, 1267361519406.jpg)
1826
>>1825

>линукс
>Кодить не умею

штоу.
>> No. 1827
>>1825
Так тебе качалку нужно или кнопочки-окошки?
>> No. 1828
>>1827
К сожалению "конпочки-окошки". Перелез на Ubuntu я относительно недавно, и к терминалу привыкнуть не успел.
>> No. 1887
>>1828 Из-за чертовой убунты линупс стал быдлоосью.
>> No. 1888
>>1887
Ты забыл сусу и мандриву.
>> No. 1900
>>1887
Сижу на генте, кодить не умею.
>> No. 1955
Может кто поможет с Rule43? Ранее пользовался Rule34_Console и списки составлялись, можно было спокойно качать файлы с определенными тэгами, но сейчас прога бесится и ни в какую не хочет работать, в лучшем случае сообщает о количестве файлов. Может есть обновленная версия или можно как-нибудь обойти этот сбой... Кодить не умею, так что по возможности максимально доступно...

Rule34_Console обнаружена ошибка. Приложение будет закрыто.
Приносим извинения за неудобства.

EventType : clr20r3 P1 : rule34_console.exe P2 : 1.0.0.0
P3 : 4a9abe36 P4 : mscorlib P5 : 2.0.0.0 P6 : 4889dc80 P7 : 2389
P8 : 66 P9 : system.argumentoutofrange
>> No. 2008
>>1782
Удваиваю запрос. Выложите кто нибудь исходники.
>> No. 2031
Файл: 127491102246.png-(255.06KB, 471x563, 1269343890133.png)
2031
>>1955

Ого, моим быдлокодом кто-то пользуется. У них разметка поменялась. Как сдам курсач, обновлю.
>> No. 2050
>>2008
Програмки под NET отлично декомпилируются
>> No. 2063
>>2050
А не пиздишь ли?
>> No. 2132
Файл: 12757512346.png-(824.12KB, 1389x1335, 1272637409687.png)
2132
Анон, а есть ли какой-нибудь способ пакетной скачки по тегам с http://macrochan.org?

капча "perl" намекает.
>> No. 2137
>>2135
Сядь и пробуй. Больше, чем ты приобретешь сам, тебе никто не даст.
Не писал десктопный софт на руби, но питон в этом плане как-то не хорош. Особенно, в плане компиляции под win(а иначе как распространять? Не заставишь же каждого поставить интерпретатор и необхдимые библиотеки). Для гуя пробовал Tk. Оно няшно, есть все необходимое для простых форм. Вот только выглядит немного вырвиглазно, и пейнт на нем не сделать, ибо canvas убогий.

Алсо, суть этого треда уже скорее "Привет, я написал очередную качалку", чем "Привет, у вас так много качалок, что я когда-нибудь напишу свою".
>> No. 2139
Файл: 127583224254.jpg-(125.59KB, 960x960, 1275654495029.jpg)
2139
>>2137
Создавал тредик на соседнем чане, обсудил, попробовал, погуглил, почитал книги по языкам, пришел к выводу что таки питон.
Ruby hype is over тащем-та.
>> No. 2144
>>2132

Когда на макрочане запилят скрипт для экспорта, тогда можно будет легко скачать.
>> No. 2209
Перезалейте BooruChan, пожалуйста. И спасибо автору.
нашел-тред-в-гугле
>> No. 2310
Ну бамп же. Ну перезалейте же.
>> No. 2311
>>2209
>>2310
http://rghost.ru/1130642
>> No. 2312
>>2311
Спасибочки!
>> No. 2321
http://github.com/xeron/danbooru-ruby-grabber
http://github.com/downloads/xeron/danbooru-ruby-grabber/danbooru-ruby-grabber.zip
>> No. 2327
куй
>> No. 2328
интересно, можно ли приспособить Gelbooru downloader для загрузки с 12ch.ru?
>> No. 2346
У sankakucomplex в идеале есть API http://chan.sankakucomplex.com/help/api вот только в xml он возвращает только количество постов, хотя в json всё нормально. Возможно это сделано специально. Обидно(
>> No. 2347
>>2346

На бухте лежат 2 торрента на торренты на скачивание паков картинок с Санкаку. Так вот там, помимо картинок, лежит еще скрипт для их скачивания.
Просто, к сведению.
>> No. 2348
>>2347
Знаю, да только там раздающих нету
>> No. 2349
>>2348

Посиди подольше. Я месяц назад только скачивал (нет скрипт не сохранился).

Если кому нужно - вот еще скрипт для скачивания с данбуру и коначана:
http://pastebin.com/f595fca50
>> No. 2350
>>2349

Забыл:
python DanbooruScrape -s konachan.com [-p pic_prefix] tags
>> No. 2351
Моя перл-качалка вроде качала с санкаку. Если апи не поменялось, должно работать.
Там простое апи же было, точно такое же как у данборы, по идее у любой данбуру-качалки должно получиться.
>> No. 2354
http://rghost.ru/1130642 а возможно переименовывать файл по истинному тегу который на сайте Gelbooru, то есть всем тегам принадлежащим к картинке, а то становиться море непонятных файлов.
>> No. 2355
>>2354
Use gelbooru api, Luke. Всплывает проблема с длинными именами, правда.
>> No. 2362
Офигел от количества велосипедов в треде
>> No. 2420
Стянул с бухты скрипт для закачки с http://chan.sankakucomplex.com/ Только так и не понял, как его запустить.
http://rghost.ru/2407534
>> No. 2421
>>2420
Спасибо, посмеялся. Cмесь пхп с вгетом через парсинг страниц при наличии данбуруподобного жсон-апи - это что-то.
>> No. 2528
Разработчик Booruchan, можешь ли ты в свою прожку добавить работу с командной строкой?
например:
booruchan cirno false true true true true C:\Users\Username\Desktop 5 240
- качает сама все файлы из списка в папку?
>> No. 2529
>>2528
В треде >9000 консольных качалок. Разве booruchan не только гуем отличается?
>false true true true true 5 240
Что это за безумие? Что значат все эти булы и цифры? Если делать параметры, то по человечески -параметр значение, ну или windows-way вроде /параметр значение.
>> No. 2530
>>2529
это содержимое config файла
Аргументы, которые передаются в argv разделяются пробелом, насколько я знаю. В прочем, не это важно.
Насчет качалок консольных в треде. Я не буду компилиривовать что-то сам (не программист, сред разработки ни одной не имею). Также, не буду трахаться с запуском линуксовских прог. Подавайте мне нормальный экзешник с рабочей прогой. Да, такое я быдло.
А так как booruchan-качалка в принципе уже разработана, то не вижу проблемы в добавлении в неё возможности передачи аргументов через кс.
>> No. 2531
>>2530
>>1166
[Вернуться] [Весь тред] [Первые 100 постов] [Последние 50 постов]


Удалить сообщение []
Пaроль  
[Mod]