Кинопоиск экспорт в excel

Movie Rating Migrator: Kinopoisk -> IMDB

Программа для скачивания личных оценок с Кинопоиска в формате Excel, а также для переноса оценок с Кинопоиска на IMDB.

Для использования программы понадобится:

1. Google Chrome.
2. Важно что бы у Вас открывался сайт Кинопоиска. (Возможно понадобиться установить VPN).
3. Программа разрабатывалась для Windows. На других ОС не тестировалась.

Для использования программы через архив:

1. Cкачайте файл — «__Movie_Rating_Migrator_Kinopoisk_to_IMDB.rar», и распакуйте его.
2. Запустите файл — «__Movie_Rating_Migrator_Kinopoisk_to_IMDB.exe».
3. Введите ID Кинопоиска в которого нужно спарсить оценки, и укажите путь для сохранения файлов.
4. Следуйте инструкциям программы.

FAQ:

Как узнать ID пользователя Кинопоиск?

Узнать ID вы можете узнать во вкладке оценки.

Что делать, если не открывается браузер?

Чаще всего ошибка версии драйверов. Попробуйте обновить драйвера браузера в программе.

1. Загрузите последнюю версию chromedriver для своей системы здесь.
2. Замените chromedriver.exe в папке chrome_driver вашей загрузкой.

Проверьте что бы у вас открывался сайт Кинопоиск.
В Украине он заблокирован. Любой ВПН поможет это исправить.

В каком формате я получу оценки после парсинга по кинопоиску?

Вы получите оценки в файле формате Excel. В файле будут следующие колонки:

• russian_movie_name
• english_movie_name
• user_rating
• week
• user_rating_count
• kinopoisk_id
• kinopoisk_rating
• imdb_id

Также будет сформирован файл в формате JSON, созданный для дальнейшего переноса оценок на IMDB.

Все ли оценки перености на IMDB?

Переносятся все оценки, для которых есть код imdb. Если фильм не будет перенесен, то этот фильм будет добавлен в файл с ошибками (будет создан в конце переноса оценок).

Что делать, если при переносе оценок произошел сбой?

Программа запоминает статус работы. Запустите перенос оценок еще раз и он продолжится с места окончания (также еще раз попытается перенести фильмы, которые не удалось перенести).
Не запускайте парсинг оценок заново, так как процесс начнется с начала.

Сколько фильмов обычно переносится успешно?

Из практики 99%. Остальные попадают в файл с ошибками.

Парсинг Кинопоиска

Парсер Кинопоиска — это настройка Datacol, которая автоматически получает информацию о фильмах с Кинопоиска по названиям фильмов. Для каждого фильма сохраняется его название, постер (скачивается в папку Мои рисунки), год, страна, жанр и другие данные. Поиск ведется по полному совпадению названия. Например, чтобы найти все части фильма «Кошмар на улице Вязов» их нужно указывать отдельно: «Кошмар на улице Вязов», «Кошмар на улице Вязов 2», «Кошмар на улице вязов 3» и т. д.

• Парсер Кинопоиска поможет найти информацию о фильмах (жанр, режиссер, год, страна, продолжительность и т. д.);
• Вам нужно указать только названия фильмов, которые Вас интересуют;
• Возможна уникализация описания фильма;
• Более 15 форматов экспорта собранных данных. Сохраняйте в удобном виде для дальнейшего редактирования или экспорта на сайт.

Сохранение собранных данных обычно производится в XLSX файл для последующего открытия в Excel:

Проверить работу парсера Кинопоиска можно бесплатно в демо-версии программы.

Аналогично данной задаче в рамках Datacol можно настроить другие парсера Кинопоиска, например парсер информации об актерах.

Основные преимущества парсера Кинопоиска на базе Datacol это:

• Возможность донастройки парсинга Кинопоиска конкретно под ваши нужды (вами либо нами на платной основе).
• Возможность переводить, уникализировать, дополнительно обработать собранные данные с помощью плагинов а также загружать их в различные форматы и CMS.
• Возможность цикличного запуска кампаний. Когда результаты выполнения первой задачи парсинга будут входными данными для второй задачи по сбору данных. Подробнее смотрите здесь.

Для чего используется парсинг кинопоиска?

КиноПоиск — это один из самых популярный киносайтов. Ежедневно его посещают больше одного млн. человек, которые просматривают около восьми млн. страниц. Нет ничего удивительного в том, что универсальный парсер контента для Кинопоиска пользуется большим спросом. Поэтому часто возникают вопросы: “как получить названия фильмов в Кинопоиска?”, “где скачать парсер кинопоиска для автозаполнения сайта на wordpress?”, “как установить парсер Кинопоиск?”.

Программу для парсинга Кинопоиска чаще всего используют для получения информации о фильмах и актерах, а также для публикации ее на своем сайте.

Парсинг с кинопоиска по названию фильма

Парсер Кинопоиска позволяет автоматически получать информацию о фильмах. Приведу пример работы парсера Кинопоиск, реализованного в рамках Datacol. Процесс парсинга протекает в несколько этапов, а именно:

1. Сбор необходимой информации. Для начала работы вам нужно задать названия интересующих фильмов, остальные настройки парсера кинопоиск.ру можно не менять. После запуска кампании происходит сбор следующей информации о каждом фильме: название, постер, год, страна, режиссер, жанр, сборы, дата премьеры, релиз на DVD, время, актеры, краткое описание и рейтинг. Многих наших клиентов интересует, как скачать картинки с Кинопоиска. Парсер решает эту задачу, он загружает постеры фильмов на компьютер в папку “Мои рисунки”. Некоторых также интересует парсер описаний фильмов с Кинопоиска. Datacol решает и эту задачу, так как собирает краткое описание к фильму.

2. Экспорт данных из Кинопоиска. Происходит сохранение информации в csv файл для дальнейшего открытия в Excel. За 10 минут работы парсера информации Кинопоиска мы можем спарсить более 1000 фильмов.

3. Импорт данных на ваш сайт. Datacol позволяет загружать информацию с Кинопоиска на ваш сайт. Во-первых, это делает процесс наполнения очень быстрым. Во-вторых, позволяет исключить возможность ошибок, связанных с человеческим фактором. Вам остается лишь импортировать файл CSV парсера Кинопоиска на ваш сайт. Как видите, экономия времени колоссальная!

Парсинг актеров с кинопоиска

Аналогично задаче, описанной выше, существует возможность настроить и другие парсера с Кинопоиска, например парсер актеров. Вам нужно будет задать список интересующих актеров и настроить поля, которые необходимо собирать.

Парсинг кинопоиска с экспортом в CMS

Один из вариантов использования парсера фильмов и актеров Kinopoiska – это публикация собранной информации на вашем сайте. После завершения процесса парсинга мы получаем CSV файл. Его можно будет импортировать на ваш сайт. Для этого чаще всего используют такие парсера Кинопоиска:
— парсер кинопоиска для Вордпресс;
— парсер фильмов кинопоиска для DLE;
— парсер кинопоиска для Joomla.
А также возможна доработка парсера для экспорта с Drupal, Ucoz и т. д.

Парсер кинопоиска для Вордпресс

Datacol предусматривает возможность экспорта данных, полученных в процессе парсинга, на сайты с WordPress. Это предусмотрено в базовом функционале. Поэтому настроить парсер кинопоиска для wordpress будет проще всего.

Парсер фильмов кинопоиска для DLE

Также собранную информацию вы можете экспортировать в CMS DLE. При этом используется плагин экспорта. Вы сможете собирать парсером Kinopoisk информацию и публиковать ее в DLE. Кроме этого, перед публикацией данные можно подвергать обработке (уникализации или автоматическому переводу).

Парсер кинопоиска для Joomla

Парсер Datacol сможет помочь вам экспортировать информацию в Joomla. Это происходит при помощи плагина. Поэтому вы можете производить парсинг Кинопоиска и публиковать собранную информацию в Joomla.

Вы наверняка убедились в том, что парсер Кинопоиска сможет помочь вам сэкономить большое количество времени и сил. Благодаря нему вы не только повысите эффективность своей работы, но и избавитесь от рутинных задач. Вы можете протестировать работу парсера Kinopoisk. Для этого скачайте Демо-версию Datacol по этой ссылке.

Тестирование парсинга Кинопоиска

Чтобы протестировать работу парсера Кинопоиска:

Шаг 1. Установите демо-версию программы Datacol. Демо-версия программы имеет все возможности платной, но сохраняет только первые 25 результатов парсинга.

Скачать Демо-версию Datacol

Шаг 2. В дереве кампаний присутствует кампания content-parsers/kinopoisk.ru-query.par. Выберите ее и нажмите кнопку Запуск (Play). Перед запуском вы можете отредактировать Входные данные, чтобы изменить набор фильмов, информация о которых будет собираться.

Шаг 3. Дождитесь появления результатов работы парсера Кинопоиска. После появления результатов можно принудительно остановить парсинг (нажав кнопку Стоп).

Шаг 4. После окончания/принудительной остановки парсера в папке Мои документы можно найти файл kinopoisk.ru-query.xlsx:

Блокировка парсера со стороны сайта источника »

Если сайт-источник забанит ваш IP адрес (обычно в результате этого перестают находиться новые результаты), задействуйте прокси.

Обработка и экспорт данных

Способы обработки данных, собранных парсером Кинопоиска:

• Перевод;
• Уникализация;
• Все варианты.

Форматы экспорта данных, собранных парсером Кинопоиска:

• CSV/TXT/База данных/Excel;
• WordPress;
• DLE;
• Joomla;
• Webasyst;
• Все варианты.

Загрузка в CMS/магазин/сайт

Если у вас не получается самостоятельно загрузить собранные данные в свою CMS/интернет магазин/сайт, оставьте заявку и мы постараемся Вам помочь.

Заказать работы по импорту в CMS/интернет магазин/сайт

Сколько стоит парсер Кинопоиска

Парсер Кинопоиска – это настройка (пресет/конфигурация) программы Datacol. Настройка доступна в демо-версии программы. Демо-версия имеет все возможности платной версии, но сохраняет только первые 25 результатов парсинга. Узнать актуальную стоимость лицензии Datacol и купить программу можно здесь.

FAQ

Что делать, если Кинопоиск блокирует (банит) парсинг?

Если Кинопоиск забанит ваш IP-адрес (обычно в результате этого перестают находиться новые результаты), задействуйте прокси или VPN.

Как разобраться в Datacol?

Ознакомьтесь, пожалуйста, с видеоуроками по Datacol (хотя бы первые 3-5 уроков). Если при дальнейшей настройке программы у вас возникнут вопросы, задайте их нам. Поддержка Datacol отвечает с понедельника по пятницу.

Какие условия покупки Datacol?

Все условия приобретения программы приведены здесь.

Как я получу программу после ее оплаты?

После поступления оплаты за лицензию вы получите код активации программы и информацию о сроках действия вашей лицензии на адрес электронной почты, указанный при покупке. Инструкцию по активации можно посмотреть здесь.

Не нашли ответа?

Отправить вопрос в службу поддержки

В марте мы обновили дизайн страниц сериалов, а с сегодняшнего дня начинаем обновлять страницы фильмов, сохраняя привычные блоки и функции и учитывая ваши пожелания. Мы уже сделали многое из того, о чем вы писали после мартовского обновления:

• гид по сезонам, блок друзей, саундтреки и другие важные элементы расположились справа;
• оценить фильм или сериал можно сразу же после захода на страницу — звездочка стоит справа от названия;
• перейти к рецензиям также можно справа — теперь не надо листать вниз;
• вся страница стала шире.

Как и у сериалов, страница фильма будет черной, если его можно посмотреть на КиноПоиск HD, и белой — если его пока нет в нашем онлайн-кинотеатре.

Новый дизайн постепенно появится у всех. До конца лета вы сможете переключаться между привычной и новой версиями страницы. Пробуйте, сравнивайте и делитесь отзывами и пожеланиями под этим постом. Если вы заметили, что на новой странице нет функции, к которой вы привыкли, дайте нам знать.

А еще вы можете написать в комментариях, какого фильма вам очень не хватает в нашем онлайн-кинотеатре. Самые популярные киножелания постараемся исполнить.

Время на прочтение
4 мин

Количество просмотров 36K

Предисловие

Совсем недавно, когда началась эпопея с КиноПоиском, я задумался о переходе на IMDB — в плане переноса туда своих оценок фильмов. И желательно, чтобы это можно было сделать в автоматическом режиме, потому как проставлять вручную заново на IMDB свои 803 оценки фильмов не хотелось.

Поиски такой обработки привели меня на страницу камрада REDNBLACK-а., где он выложил, с его слов:

Простая программа импортирует оценки и добавляет в ваш список IMDB фильмы из файла *.xls, экспортированного с КиноПоиска

Простая?! Для тех, кто первый раз слышит (а таких на КиноПоиске, я думаю, процентов 80), что такое PHP, CURL, Composer — простая? За юмор — плюс в карму…

Вот как выразился пользователь Psyber с КиноПоиска, когда я ему предложил воспользоваться творением REDNBLACK-а:

Я, как простой смертный, не смог сообразить как ею воспользоваться, а очень бы хотелось…

Я расскажу что такое «простая»: это когда запускаешь приложение где два окна — в левом окне прописываешь ссылку на профиль в КиноПоиске, в правом — на профиль в IMDB и нажимаешь кнопку «Выполнить».

В любом случае — это лучше чем ничего, а REDNBLACK-у за проделанную работу — респект. Поэтому воспользовавшись, ну, прямо скажем спартанской инструкцией камрада, я приступил к переносу оценок фильмов. Вот что получилось.

Подготовка

Итак, сначала нам надо подготовить свои данные для переноса и установить на комп недостающий софт.

Заходим в свой профиль на КиноПоиске. Переходим на закладку «Оценки», жмём «экспорт в MS Exсel». Список с фильмами для переноса скачан, сам файл списка переименован и размещён в корень диска: d:kinopoisk_N.xls

Самая лёгкая часть процедуры выполнена.

Согласно рекомендациям REDNBLACK-а, теперь нам надо установить PHP. Поиск в google сразу отправил меня на сайт для скачивания.

Так получилось, что в тот день, когда я занимался переносом, данная ссылка на скачивание была недоступна, поэтому PHP был скачан в составе пакета XAMPP:

Запускаем установочный файл XAMPP и из предлагаемого списка для установки, оставляем только PHP.

Следующий этап – установка Composer. Скачиваем установочный файл (прямая ссылка). Запускаем. Composer спросит нас: «где находится PHP?». Мы ему указываем папку C:xamppphp, где у нас находится php.exe.

На IMDB регистрируем свой профиль или открываем уже зарегистрированный.

Создаем в своем профиле LIST (список) куда будем закачивать фильмы с оценками.

Раз:

Два:

Заходим во вновь созданный лист и записываем его id, который находится в адресной строке браузера — нам он еще пригодится. В моём случае id выглядит так:

Для переноса нам еще нужен id профиля. Что бы его найти, нажимаем комбинацию клавиш Ctrl+Shift+I (для Chrome). Находим сookies-строку авторизации:

Клацаем по строке сначала:

— два раза левой клавишей «мыши», потом
— один раз правой клавишей «мыши» и выбираем «Копировать».

Записываем id в текстовый файл для дальнейшей обработки.

Перенос

Начинается самое интересное.

Идем в гости к REDNBLACK-у и скачиваем его zip-архив:

Распаковываем архив на диск d:

Открываем Windows PowerShell и последовательно вводим команды, не забыв сначала сменить диск: cd d:

Вот где нам пригодился Composer.

А теперь всю собранную информацию будем собирать до кучи. Запускаем PowerShell и формируем строку-команду с параметрами на выполнение программы PHP. Эта строка имеет вид:

php application.php "полный путь к *.xls файлу" --auth="Cookie строка авторизации с IMDB" --list="ID списка для добавления" --query_format="тип запроса"

Разберём эту строчку — что и куда подставлять:

1. «полный путь к *.xls файлу»:

d:kinopoisk_N.xls

2. «Cookie строка авторизации с IMDB» (id профиля):

BCYkmNuQatCqhAmBX7k6158N8vu_26DTpFYfITPrIznWMrpFeLZipNznKBhXGoOJqsO9VoczRALY1fdNXMkkOPhoe9lua_kHr7xZMTTf-qkHiMOXx1HDif4eYyqGPKrYH-pnnWvFtrS7oBbbN87jUCyiG1cEIWHwSVsJKsYp8q1hl7aL0XZNIqQLT8X9sUhNER0VG

3. «ID списка (листа) для добавления»:

ls016952709

4. «тип запроса»:

mixed 

(самый медленный, но надежный, процент точности около 90%)

Важно! Не забываем заключать текст опций в » «.

Складываем. Получаем готовую солянку:

php application.php d:kinopoisk_N.xls --auth="BCYkmNuQatCqhAmBX7k6158N8vu_26DTpFYfITPrIznWMrpFeLZipNznKBhXGoOJqsO9VoczRALY1fdNXMkkOPhoe9lua_kHr7xZMTTf-qkHiMOXx1HDif4eYyqGPKrYH-pnnWvFtrS7oBbbN87jUCyiG1cEIWHwSVsJKsYp8q1hl7aL0XZNIqQLT8X9sUhNER0VG" --list="ls016952709" --query_format="mixed"

Важно! Эту строку будем запускать из папки d:kinopoisksrc, поэтому последовательность переходов и запуск программы на выполнение, будет выглядеть так:

Кстати, если кто знает как избавиться от неправильной кодировки в PowerShell я буду признателен за совет.

Жмём Enter — процесс переноса пошёл! Осталось подождать. Моё ожидание составило 1 час 20 мин.

Выводы

Что мы видим после окончания процесса переноса?

Перенеслось 732 рейтинга (оценки) из 803. Не перенеслась 71 оценка. У меня закрались подозрения, что в этом виновато кириллическое написание названий фильмов. Но REDNBLACK так отреагировал на это:

Кириллические символы воспринимает. Улучшить уже не получится, по моему это и так идеально-возможный результат, с такими-то плохими данными у КиноПоиска.

Впрочем, нам и не обещали 100% результат.

Заключение

Я не являюсь специалистом в PHP, поэтому, если у кого возникнут технические вопросы — вы знаете к кому обращаться. Если кто найдет ошибки, или предложит другие (лучшие) способы переноса — поделитесь мыслями-пожеланиями.

P.S.: На перенос оценок фильмов (с изучением мануала, деталей, пробами, выявлению ошибок, консультациями) у меня ушло два дня. Если мой опыт кому-нибудь пригодится и позволит желающим, с учётом выше описанного мануала, затратить на перенос час времени — буду считать, что свое время я потратил не зря.

Эта программа позволяет найти в интернете (на сайте kinopoisk.ru), и вывести в таблицу Excel характеристики фильмов

(такие, как: год выпуска, страна, слоган, режиссер, сценарий, продюсер фильма, оператор, композитор, жанр, продолжительность и т.д. и т.п.)

Исходными данными для программы является столбец с названиями фильмов.

Принцип работы программы:

• для каждого фильма берётся русское название, и преобразуется в URLEncode
• во вторую ячейку строки вставляется гиперссылка, ведущая на результаты поиска по сайту
• формируется ссылка для поиска очередного фильма по сайту kinopoisk.ru
• на скрытом листе TEMP макросом создаётся веб-запрос
• после получения данных из интернета веб-запрос удаляется (данные остаются)
• по каждому значению из заданного в макросе массива производится поиск характеристики с таким же названием в результатах выполненного веб-запроса

SearchArray = Array(«год», «страна», «слоган», «режиссер», «сценарий», «продюсер», «оператор», «композитор», «художник», «жанр», «монтаж»,  «сборы в России», «премьера (мир)», «время»)

• результаты выводятся в строку с названием фильма

Время работы макроса напрямую зависит от 3 величин:

• количества фильмов
• скорости доступа в интернет
• производительности компьютера

Остановить поиск фильмов можно в любой момент, нажав кнопку «Остановить» на индикаторе выполнения.