WorldArt "общий"

Добавление новых сайтов в Movienizer. Индивидуальная настройка программы.
TerribleFloater
Superstar
Posts: 1911
Joined: Thu Feb 28, 2008 4:20 pm

WorldArt "общий"

Post by TerribleFloater » Tue Dec 16, 2014 8:42 am

Сделал скрипт worldart_movie, работающий и с аниме, и с синема. Предлагаю версию 1 на тестирование всем желающим :-) И пользвателям, и программистам (ау, коллега Weever!)

Предупреждаю: скрипт очень сырой, поэтому лучше завести для тестирования отдельную базу. Выкладываю его в таком виде просто потому, что некоторые вещи очень трудно изменять, гораздо проще с самого начала сделать как надо. Вот я и надеюсь увидеть в ваших замечаниях-предложениях то, что пока не увидел сам. В конце концов, ссылка на страницу, с которой скрипт работает неправильно -- это уже хорошо.
Но и в нынешнем состоянии скрипт работает не хуже скриптов worldart_animation и worldart_cinema. Надеюсь :-)

Что пока сделано:
1. Обеспечена работа со всем киноконтентом сайта WA, как и сказано выше.
2. Добавлены настройки скрипта. Там есть выбор сектора сайта для поиска (animation или cinema), а также возможности для сериалов скачивать контент с thetvdb.
3. Добавлена скачка трейлеров.
4. Убрана вся связь с амазоном в смысле картинок.
5. Добавлена загрузка кода IMDB, если есть IMDB-ссылка.
6. Если среди оригинальных названий фильма есть указание, что это ромадзи -- закачивается именно это название.
7. Добавлена отработка ограничения загрузки актёров.
8. Добавлена загрузка фотографий людей.

Что пока не сделано:
1. Тематические связи. На сайте есть, собственно один вид такой связи -- серия. К сожалению, она не структурирована так, чтобы было обозначено, где начало, а где продолжение с точки зрения данного фильма. Кроме того, неясно, как называть саму серию. Обычно она берёт начало в манге, а их названия частенько не переведены.

Что не будет сделано:
1. Загрузка эпизодов как эпизодов. Просто потому, что они не разбиты на сезоны.
2. Загрузка обоев -- своих обоев на сайте нет; есть ссылка на поиск на стороннем сайте по нерусскому названию. Это явно не лучше thetvdb.

Вот вроде всё. На очереди скрипт для людей, естественно.

PS: Уселся за скрипт для людей, обнаружил следующее (на что до этого не обращал внимания):
Скрипт worldart_animation для фильмов находится в файле worldart_animation_movie.pas. Всё совпадает, всё правильно.
В файле же worldart_person.pas находится скрипт worldart_animation для людей.
Соответственно, при автоматическом обновлении скриптов скачивается файл worldart_person.pas, и всё, что было нажито непосильным трудом... :-(
Короче, что-то придётся переименовывать. Наверное, назову и скрипты, и файлы worldart_full, или что-нибудь в этом роде.

PPS: Закончил первую версию скрипта для людей и предлагаю его для тестирования.
Теперь оба файла начинаются с "worldart_full_", так что тем, кто скачал worldart_movie.pas, достаточно его просто переименовать.

Что сделано:
1. Скрипт работает :-)
2. Добавлены настройки: "скачивать фильмографию" и (для тру-анимешников) "скачивать только аниме".
3. Расширены возможности скачивания фотографий (в рамках ограничения на их число): сперва скачиваются фотографии непосредственно со страницы, потом из фотогалерей, потом обложки фотосессий.
4.Добавлена очень приятная фишка из скрипта IMDB для фильмов: можно при поиске по имени в качестве имени написать код человека. Он скачается непосредственно. Вообще-то эту фишку хотелось бы видеть во всех скриптах, где только можно...
5. Если в названии фильма есть иероглифы, оно обрезается, начиная с первого иероглифа. За иероглифы произвольно принимаются символы с кодом, большим 12000. Если кто может уточнить или прислать страничку с ошибкой в данном смысле -- прошу. В принципе, иероглифы в Юникоде выделены в немколько диапазонов, нижний вроде как начинается с 11904.

Что пока не сделано:
1. При скачивании по коду (см. п. 4 выше) фотографии сохраняются под служебным именем 'noname'. Пока не поборол :-(
2. Не пришёл ещё к решению, как сохранять подобные названия фильмов:
Ван-Пис [ТВ] (сезон седьмой)
Щелкунчик Китаро - Фильм (1999)
Это надо согласовать со скриптом для фильмов.

Похоже, что сайт забанил мой IP (за слишком интенсивную работу, видимо). А через анонимный прокси работать тяжеловато. Будем подождать :-(
Attachments
worldart_full_movie.pas
Скрипт для фильмов. Версия 1. Сборка 1.1.
Это ровно тот же файл, что и worldart_movie.pas, просто переименованный.
(104.24 KiB) Downloaded 272 times
worldart_full_person.pas
Скрипт для людей. Версия 1. Сборка 1.1.
(39.01 KiB) Downloaded 283 times
Хочу: чёрные списки, пол людей, пользовательские поля изданий.
Кинопоиск: Image ПлюсКинопоиск: Image

TerribleFloater
Superstar
Posts: 1911
Joined: Thu Feb 28, 2008 4:20 pm

Re: WorldArt "общий"

Post by TerribleFloater » Fri Dec 26, 2014 3:17 pm

Пока идёт отладка, с новыми сборками буду делать новые посты, а не редактировать первый. Это позволит скачать предыдущую сборку в случае чего :-)
Странно, что скрипты скачивают, а отзывов и багрепортов нет. Тем не менее, у меня собственные багрепорты появились, и я выкладываю новые сборки версии 1.
Скрипт фильмов:
1. добавлена скачка связей-серий (в случае разрешения скачивания связей вообще). В связи с этим в настройки добавлен флажок "скачивать все связи". Имеется в виду следующее: допустим, пользователь отметил искать аниме; при снятом флажке и в серию попадут только аниме, при включённом -- всё.
Надо отметить тут такую фишку сайта: нигде нет всей серии в едином перечне с разбивкой на начало и продолжение относительно данного фильма. Поэтому, если есть аниме "Доходный дом Иккоку" 1986 года и кинофильм "Доходный дом Иккоку" тоже 1986 года, то при скачивании каждый из них ставит себя на первое место в серии (и хорошо ещё, что название серии не изменилось). В описании же серия всегда записывается принудительно так: сперва аниме, потом кино.
2. Исправлены ошибки, связанные с неправильным скачиванием различного рода картинок из-за нестандартного или просто неверного оформления соответствующих страниц. Например, страница постеров есть, но на ней нет ни одного постера :-(
3. Обнаружил и пока не понял такой плавающий баг: при скачивании трейлера он может записаться дважды: не только как ссылка, но и как изображение :-( Пока борьба простая: нужно удалить такой "трейлер" из закладки картинок в карточке фильма.

Скрипт людей.:
1. Исправлена ошибка в фильмографии: неверно записывались коды фильмов в таблицу movies_codes. Уже скачанные фильмографии нужно будет удалить и перекачать заново.
2. Как и в скрипте для фильмов, исправлены различные ошибки при закачке фильмографий и фотографий из-за нетипичного заполнения страниц.
3. Буквально сегодня сайт и в фильмографии людей стал вставлять ссылки на персонажей (раньше это было на странице съёмочной группы и труппы фильма). Пришлось отрабатывать и это.

И благодаря блокировке IP модернизирована функция логина на сайт: до этого при отказе от логина скрипт просто уходил в бесконечный цикл авторизации :-)
Граждане, не ленитесь отзываться!
Attachments
worldart_full_movie.pas
Скрипт для фильмов. Версия 1. Сборка 1.2.
(99.25 KiB) Downloaded 256 times
worldart_full_person.pas
Скрипт для людей. Версия 1. Сборка 1.2.
(39.59 KiB) Downloaded 253 times
Хочу: чёрные списки, пол людей, пользовательские поля изданий.
Кинопоиск: Image ПлюсКинопоиск: Image

Weever
The leading part candidate
Posts: 174
Joined: Fri Feb 08, 2008 1:05 pm
Location: Санкт-Петербург

Re: WorldArt "общий"

Post by Weever » Fri Jan 02, 2015 11:53 am

код (именно ворлдартовский код) для персон, использовался для скачивания оных (в старых скриптах), если с карточки человека открытого из фильма, нажимается скачивание о нем информации.
По удалению иероглифов, функция в скрипте RemoveJeroglyph перестала их удалять?
С сезонными именованиями для аниме я тоже так и не придумал что делать, потому как идут не только сезоны, но ещё и ТВ, ОВА и тд. В фильмовом скрипте сезоны работали (когда-то, когда скрипт был нужен пользователям) :D

TerribleFloater
Superstar
Posts: 1911
Joined: Thu Feb 28, 2008 4:20 pm

Re: WorldArt "общий"

Post by TerribleFloater » Fri Jan 02, 2015 12:33 pm

Вау! Первый отзыв после двух сотен просмотров! И по делу, что радует :-) И от кого, что не менее радует :-)
Weever wrote:код (именно ворлдартовский код) для персон, использовался для скачивания оных (в старых скриптах), если с карточки человека открытого из фильма, нажимается скачивание о нем информации.
Здесь другая фишка. Условно: есть на сайте 115 человек по фамилии Судзуки. И нам нужен 113-й, и мы знаем его страницу на сайте. Что-то вроде: http://www.world-art.ru/people.php?id=95. Вбиваем это самое 95 вместо имени и скачиваем именно этого человека, без всякого поиска. Вот к сожалению, тут и возникает у меня тот самый noname в картинках :-(
Кстати, ещё одна фишка: если в обоих скриптах при добавлении по названию-имени написать setup, откроется окно настроек скрипта.
Хочу ещё добавить фишку: скачивать все фильмы выбранной компании ;-)
Weever wrote:По удалению иероглифов, функция в скрипте RemoveJeroglyph перестала их удалять?
Угу. Думаю, из-за Юникода. В коде страницы по-прежнему фигурируют HTML-коды, а ShowMessage показывает сам иероглиф. Поэтому я переписал этот кусок:

Code: Select all

		while i<=Length(s) do begin
			if ord(s[i])>11903 then begin
				if Regime=0 then
					s := copy(s, 1, i-1)// обрезаем
				else
					delete(s, i, 1);// удаляем лишь 1 символ
			end
			else begin 
				i := i + 1;
			end;
		end;
И добавил параметр Regime для выбора: удалить только сам иероглиф или и всё после него тоже.
Weever wrote:С сезонными именованиями для аниме я тоже так и не придумал что делать, потому как идут не только сезоны, но ещё и ТВ, ОВА и тд. В фильмовом скрипте сезоны работали (когда-то, когда скрипт был нужен пользователям) :D
Пока я сделал так:
1. [ТВ] и (год) удаляются всегда. Именно в таких скобках.
2. Создал список "плохих слов":

Code: Select all

	BadWords[1] := 'ТВ';
	BadWords[2] := 'OVA';
	BadWords[3] := 'пайлот';
	BadWords[4] := 'спецвыпуск';
	BadWords[5] := '(фильм';
	BadWords[6] := '(спэшл';
Если после них нет пробела, они обрезаются. Если перед словом есть открывающие скобки ( или [, обрезаются и они. Таким образом, всякие ТВ-4 или OVA-5 исчезают.
Если же пробел есть, то смотрим, а нет ли перед плохим словом открывающей круглой скобки (. Если есть, то обрезаем, начиная с этой скобки. Так убираются всякие (фильм шестой). А вот (сезон пятый) или (пятый сезон) остаётся.
Решение, использовать ли этот список, лежит в настройках скрипта людей. Но применяется в обоих скриптах -- для единообразия названий.
Но это всё в сборке 3. Пока я занимаюсь тестированием на разных фильмах, выискивая нестандартности на сайте. А их куча :-(
Хочу: чёрные списки, пол людей, пользовательские поля изданий.
Кинопоиск: Image ПлюсКинопоиск: Image

TerribleFloater
Superstar
Posts: 1911
Joined: Thu Feb 28, 2008 4:20 pm

Re: WorldArt "общий"

Post by TerribleFloater » Wed Jan 07, 2015 11:47 am

300 молчаливых просмотров! Можно сказать, юбилей :-)
По этому поводу выкладываю новые сборки.
Что дабавлено:
1. Та самая уборка "служебных слов", о которой я писал выше. Настройка — в настройках скрипта людей, действует на оба скрипта.
2. Обработка ситуации с несколькими ролями одного актёра, которую я заметил в фильме "Ковбой Бибоп: Достучаться до небес".
Чтобы было понятнее: вот "Ведьмина служба доставки". Один человек играет несколько ролей. Они привычно перечисляются через слэш. А вот "Ковбой Бибоп". Один человек упоминается в двух строках. Если у пользователя в настройках скачивания программы снят флажок "Закачивать одну роль человека для каждого фильма", то всё ОК — как на сайте, так и будет в базе. Но, если флажок стоит — Спайка Шпигеля в базе не будет вообще, останется лишь умная собачка Айн :-( Вот я и сделал принудительное приведение к виду "одна строчка через слэши"

Как уже стало обычным, скрипты подогнаны под обнаружившиеся нестандартности на сайте (думаю, это будет вечно...)
Attachments
worldart_full_movie.pas
Скрипт для фильмов. Версия 1. Сборка 1.3.
(90.44 KiB) Downloaded 235 times
worldart_full_person.pas
Скрипт для людей. Версия 1. Сборка 1.3.
(40.68 KiB) Downloaded 246 times
Кики.PNG
"Ведьмина служба доставки"
Кики.PNG (65.96 KiB) Viewed 7952 times
Бибоп.PNG
"Ковбой Бибоп: Достучаться до небес".
Бибоп.PNG (30.14 KiB) Viewed 7952 times
Хочу: чёрные списки, пол людей, пользовательские поля изданий.
Кинопоиск: Image ПлюсКинопоиск: Image

TerribleFloater
Superstar
Posts: 1911
Joined: Thu Feb 28, 2008 4:20 pm

Re: WorldArt "общий"

Post by TerribleFloater » Mon Feb 23, 2015 9:54 am

Новый тихий юбилей — 500 просмотров предыдущего поста. Три десятка скачавших.
Новые сборки.
Скрипт для фильмов: исправлен баг, заключающийся в том, что если у фильма есть лишь английское название и название иероглифами, то такой фильм не скачивался вообще.
Скрипт для людей: в настройки добавлен выбор, скачивать ли текстовую информацию, и, если скачивать, то куда — в биографию или в описание.
Attachments
worldart_full_movie.pas
Скрипт для фильмов. Версия 1. Сборка 4.
(90.75 KiB) Downloaded 231 times
worldart_full_person.pas
Скрипт для людей. Версия 1. Сборка 4.
(42.1 KiB) Downloaded 214 times
Хочу: чёрные списки, пол людей, пользовательские поля изданий.
Кинопоиск: Image ПлюсКинопоиск: Image

TerribleFloater
Superstar
Posts: 1911
Joined: Thu Feb 28, 2008 4:20 pm

Re: WorldArt "общий"

Post by TerribleFloater » Sat Mar 21, 2015 6:40 am

Новые сборки, умеющие работать и с версией 8, в которой будут скачивать продюсеров-операторов (в версии 7 просто не будут). Впрочем, операторов скрипт человека не скачает (по крайней мере, пока). Дело в том, что эта работа не вынесена на странице человека в отдельную категорию типа:
Продюсер в кино:

2009 — Мёртвые до востребования 8.2/10 (36)
2008 — Мартышки в космосе
2007 — Зачарованная 7.9/10 (90)
, а перечисляется в общей кучке:
В кино:

1990 — Перекрёсток Миллера - оператор 7.6/10 (13)
1990 — Мизери - оператор 8.4/10 (26)
1989 — Когда Гарри встретил Салли - оператор 8.4/10 (14)
1988 — Большой - оператор 7.7/10 (28)
Впрочем, на сайте операторов аниме вроде вообще не указывают, так что некритично.

Заодно подогнал скрипт фильмов под изменения в дизайне страниц "неаниме". А на страницах "аниме", кстати, из жанров убрали само слово "аниме". Пришлось восстанавливать справедливость :-)
Attachments
worldart_full_movie.pas
Скрипт для фильмов. Версия 1. Сборка 1.5.
(91.23 KiB) Downloaded 228 times
worldart_full_person.pas
Скрипт для людей. Версия 1. Сборка 1.5.
(42.48 KiB) Downloaded 210 times
Хочу: чёрные списки, пол людей, пользовательские поля изданий.
Кинопоиск: Image ПлюсКинопоиск: Image

TerribleFloater
Superstar
Posts: 1911
Joined: Thu Feb 28, 2008 4:20 pm

Re: WorldArt "общий"

Post by TerribleFloater » Thu Aug 25, 2016 5:02 am

Коллеги, если скриптом кто-то пользуется, отпишитесь, пожалуйста: всё ли скачивает правильно?
У меня возникли предположения, что сборка 1.5 не скачивает кадры. Или не всегда скачивает.
Хочу: чёрные списки, пол людей, пользовательские поля изданий.
Кинопоиск: Image ПлюсКинопоиск: Image

Nighteon

Re: WorldArt "общий"

Post by Nighteon » Thu Sep 08, 2016 10:44 am

TerribleFloater wrote:Коллеги, если скриптом кто-то пользуется, отпишитесь, пожалуйста: всё ли скачивает правильно?
У меня возникли предположения, что сборка 1.5 не скачивает кадры. Или не всегда скачивает.
К сожалению не всё. Когда скрипт качает информацию о произведении с ворлд арта, то название почему-то добавляется с лишним текстом, вот только что добавил сериал и вот что он занёс в графу "Название:

Code: Select all

Страница аниме "Две звезды Оммёдзи" (Sousei no Onmyouji) - >25 серий, которое транслировалось на канале TV Tokyo в 2016 году. Рейтинг этого аниме, создатели, кадры и видео.
И ещё одно, при добавлении не были выставлены жанры.

Можно ли это исправить?

TerribleFloater
Superstar
Posts: 1911
Joined: Thu Feb 28, 2008 4:20 pm

Re: WorldArt "общий"

Post by TerribleFloater » Thu Sep 08, 2016 2:43 pm

А какая сборка? Загляните блокнотом в текст скрипта, пожалуйста.
Хочу: чёрные списки, пол людей, пользовательские поля изданий.
Кинопоиск: Image ПлюсКинопоиск: Image

Post Reply