Хеннет Аннун Властелин Колец: Аннотация к саундтрекуХоббит: проект Нежданный БуклетНовая Зеландия, или Туда и обратно      

Вернуться   Хеннет Аннун > Технические и административные вопросы

Ответ
 
Опции темы Поиск в этой теме
Старый 03.09.2002, 12:56   #1
ATAMAH
Батька Атаман
 
Аватар для ATAMAH
 
Регистрация: 15.04.2002
Адрес: Новосибирск
Сообщений: 763
Лайки: 0
Обсуждение проблемы переезда

Давайте все проблемы, связанные с переездом и вытаскиванием наших сообщений с Имладриса обсуждать здесь.
ATAMAH вне форума   Ответить с цитированием
Старый 03.09.2002, 16:11   #2
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Вот цитата с последней сохранившейся у меня страницы посвященной переезду. Полностью страницу я положил тут: http://plastun.narod.ru/pereezd.htm
Цитата:
Программа для бегства с Имладриса
Привет. Вот первый отчет.

Я выложил на http://plastun.narod.ru/Imparse.rar демо-версию парсеров для кочевания с Имладриса. Если интересно, посмотрите.

Принцип работы следующий.

1. При помощи урла http://www.imladris.net/forums/forum...0&pagenumber=1 получаем страницу, на которой видны все треды форума. Эту страницу сохраняем как ALLTHREADS.HTM и обрабатываем с помощью парсера "Forum" на вкладке "A - Forum". Результатом будут ссылки на сами треды.

2. Список ссылок на треды можно использовать в какой-нибудь программе для скачивания. Например FlashGet. Если на предыдущем шаге установить число постов на странице равным 200, то скачанных файлов будет около 350-400 (по состоянию на август 2002). Их нужно поместить в папку THREADS и обработать с помощью парсера "Threads" вкладки B - Threads. Имена файлов назначаются скачивающей программой и не имеют значения.

Результатом работы является заполнение базы данных. Создаются юзеры (id, ник, статус, дата регистрации, location) и посты (id, заголовок, тело сообщения в формате HTML, дата создания, дата редактирования (если есть), название файла аттача).

Аватар, аттач и некоторые другие детали выкачиваются отдельно с использованием id юзера.

3. Я думал, нужно ли заходить на страницу с профайлом юзера. Теоретически это возможно, но пока не представляется необходимым. На шаге 2 мы получили почти все, что было нужно. А пользователям все равно придется зайти на свою страницу хотя бы раз, чтобы изменить пароль, который мы им вышлем. Этот шаг не проработан.

4. Вытянуть vB-code можно с помощью парсера "Posts" на вкладке D - Posts. Но, во-первых, для этого нужно скачать все страницы редактирования сообщений. (Их урлы генерируются с использованием id постов, которые будут известны после 2-го шага.) А их столько же, сколько постов. Если не ошибаюсь, 108 тысяч. Во-вторых, нужен пароль модератора. Либо я передаю программу и ее описание Лэймару и он использует ее на своем оборудовании, учитывая вероятность блокировки такой атаки сервером.

Итог:

Программа писалась как парсер для уже скачанных страниц, поэтому не работает полностью самомстоятельно, т.е. выкачивать она сама не умеет.

Если есть возможность, прошу желающих потестировать ее путем подсовывания в указанные папки страниц с Имладриса. Это будет весьма полезно.

Процедура сохранения в базу данных в демо-версии заблокирована.

Вот и все. Я уезжаю на 2 недели. Буду в сети 2 сентября. Счастливо!
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума   Ответить с цитированием
Старый 03.09.2002, 16:23   #3
ATAMAH
Батька Атаман
 
Аватар для ATAMAH
 
Регистрация: 15.04.2002
Адрес: Новосибирск
Сообщений: 763
Лайки: 0
Хорошо, скинь мне пожалуйста пример результата. Я посмотрю как он выглядит. Возможно мне придется написать еще один парсерок, чтобы он привел к виду MySQL, Но я надеюсь, что и так все заработает.
ATAMAH вне форума   Ответить с цитированием
Старый 03.09.2002, 16:24   #4
ATAMAH
Батька Атаман
 
Аватар для ATAMAH
 
Регистрация: 15.04.2002
Адрес: Новосибирск
Сообщений: 763
Лайки: 0
Хотя все равно придется, к структуре и существующим постам и пользователям надо подгонять. Тем более присылай.
ATAMAH вне форума   Ответить с цитированием
Старый 03.09.2002, 17:05   #5
ATAMAH
Батька Атаман
 
Аватар для ATAMAH
 
Регистрация: 15.04.2002
Адрес: Новосибирск
Сообщений: 763
Лайки: 0
Попробуй пропарсить это
Вложения
Тип файла: zip ПТСР-z.zip (14.3 Кб, 8 просмотров)
ATAMAH вне форума   Ответить с цитированием
Старый 03.09.2002, 17:35   #6
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Если ты еще не смотрел мою прогу, то я тебе сейчас в двух слвах расскажу. Та версия, что я выложил, просто выводит в поле мемо все, что он напарсил. В базу сохранение у меня только дома. И оно гонит все в SQL Server через ADO. Как ты будешь смотреть результаты?
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума   Ответить с цитированием
Старый 03.09.2002, 21:14   #7
Гость
 
Сообщений: n/a
Пластун, у меня не получилось скачать последний вариант парсера. Ссылка была битая, о чем я громко орал на Имладрисе, но уже после того, как ты уехал. Выложи его еще раз пожалуйста и если можно не на народе, он из US практически не работает, то есть работает, но даже у меня с работы (выделенная t1, на которой вешу я и один сервер) у меня пару килобайт скачать занимает полчаса! И если можно, ту версию, что у тебя дома, с MSSQL Server. У меня он и на работе и дома стоит.
  Ответить с цитированием
Старый 04.09.2002, 11:25   #8
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Атаман. К сожалению страница ПТСТ не парсится. Что-то в ней есть такое нестандартное. Буду смотреть, а ты перешли мне по мылу, какие еще страницы у тебя есть. Чтоб уж отладить получше.

Кстати же, у кого есть страницы. Отправляйте их мне тоже.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума   Ответить с цитированием
Старый 04.09.2002, 11:37   #9
ATAMAH
Батька Атаман
 
Аватар для ATAMAH
 
Регистрация: 15.04.2002
Адрес: Новосибирск
Сообщений: 763
Лайки: 0
У меня больше ничего нету
ATAMAH вне форума   Ответить с цитированием
Старый 04.09.2002, 11:57   #10
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Готово дело. Вот парсер. Размер файла 454Кб. Не обессудьте.
http://www.sci.pfu.edu.ru/~esambou/impars_exe.zip

Там внутри sql скрипт для таблиц базы данных. Только надо будет создать базу данных с названием imladris. Парсер сохраняет все в SQL Server 2000 через ADO.

АТАМАН, я просто не в курсе. Наверное в MySQL тоже можно через ADO работать. Может там в строке соединения параметр для Database provider-а поменять и все пройдет?

Вот мое мыло: [email protected]. Такая связь ИМХО быстрее.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума   Ответить с цитированием
Старый 05.09.2002, 07:02   #11
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Атаман, а где тред "Кто какие треды сохранял..." ? Не могу его найти.

Всем!
Мне все еще нужны сохраненные страницы. Народ, ну загляните в свою историю, там скачанных страниц ужас сколько должно остаться. Даже если вы ничего не сохраняли.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума   Ответить с цитированием
Старый 05.09.2002, 07:20   #12
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
О, нашел. Надо же как все изменилось. И в лучшую сторону! Вот что значит свой админ

Правда то, что я искал, лежит не в том, а в этом треде, оказывается.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума   Ответить с цитированием
Старый 06.09.2002, 10:07   #13
kondor
Зарегистрированный пользователь
 
Аватар для kondor
 
Регистрация: 06.09.2002
Адрес: Ukraine, Zaporizhzhya
Сообщений: 54
Лайки: 0
Цитата:
автор оригинала Пластун
Парсер сохраняет все в SQL Server 2000 через ADO.
А в MS Access можно?

Цитата:
АТАМАН, я просто не в курсе. Наверное в MySQL тоже можно через ADO работать. Может там в строке соединения параметр для Database provider-а поменять и все пройдет?
Я сам поменять строку подключения смогу? С АDO я то справлюсь, а вот до нее я добраться смогу?

Скачал и понял - не смогу. Ну и скрипт создания таблиц придется сильно покорежить, чтобы его Access понял (хотя может ХР и поймет???).
kondor вне форума   Ответить с цитированием
Старый 06.09.2002, 12:18   #14
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Надежда есть!

(Копия в треде Кто какие треды сохранял...)

Значит так. Все дружно лезут в свои временные папки. Лучше всего сделать так: Заходим в Пуск - Найти - Файлы и папки. Ищем на диске С: файлы showthread без расширения. Конечно, он выдаст также и треды с этого форума, но их можно различить по дате создания.

Берете все эти файлы и копируете. Потом сжимаете каким-нибудь архиватором и присылаете мне. Разбираться, что у них внутри, не обязательно. Картинки не нужны.

Адреса: [email protected], [email protected], [email protected]

Посылать на все сразу не надо. Выберите какой-нибудь один
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума   Ответить с цитированием
Старый 06.09.2002, 12:21   #15
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Хочешь сам править строку соединения? Могу ее вытянуть, но вряд ли это поможет. Потому что я использую хранимые процедуры. А они у меня в SQL Servere.

Я вот сделал файлы csv. Они и в Access прекрасно экспортируются. И даже в Excel. Собственно это и выслано АТАМАНу. Может быть даже не мучиться с БД, а сразу писать csv прямо из парсера.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума   Ответить с цитированием
Старый 06.09.2002, 12:25   #16
ATAMAH
Батька Атаман
 
Аватар для ATAMAH
 
Регистрация: 15.04.2002
Адрес: Новосибирск
Сообщений: 763
Лайки: 0
Конечно, мне все равно придется переделывать. Но этим я займусь на следующей неделе.
ATAMAH вне форума   Ответить с цитированием
Старый 07.09.2002, 11:55   #17
Varrah
Зарегистрированный пользователь
 
Регистрация: 06.09.2002
Адрес: St.-Petersburg, Russia
Сообщений: 75
Лайки: 0
Еще одна вещь

Это скорее идея для Натали и Миссис Аксман
Имхо, коль уж мы собрались уходить с имладриса, следует сменить ссылку на Хеннет-Аннун, так чтобы новые пользователи шли не на имладрис, а сюда (а когда сменим хостинг на большой и толстый, то туда), да и всем остальным будет удобнее - прочитал новости, нажал на ссылку внизу страницы и быленько все обсудил на форуме, вместо того, чтобы вспоминать адрес или перерывать фэйворитсы...
Varrah вне форума   Ответить с цитированием
Старый 07.09.2002, 13:40   #18
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Атаман! Я правильно понял, что ты раздобыл откуда-то и внедрил в форум старую страницу про MTV? Как тебе удалось?

Может ты мне дашь формат, в который я мог бы переводить базу, которая у меня получается. Чтобы тебе было проще.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума   Ответить с цитированием
Старый 16.09.2002, 12:29   #19
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Я пропарсил следующие темы:

Стихи о фильме
Спросите персонажей
Крябу с Днем рождения!
Полезные ссылки
Фан-клуб Фродо Бэггинса
Offt: Фан-клуб Ромы
Во что вы верите
Война гнева
Вопросы по Толкиену.
ТАМПЛЬ - кто идет?
По ту сторону рассвета
Серьёзные стихи о книге
Просьба программистам - помогите Хеннет-Аннуну!
Оффтоповый битломанский тред™
Быт и нравы эльфов первой эпохи
Откуда есть пошел ваш ник?* (убедительная просьба прочесть первый пост)
Проект N - первые результаты
Проект номер N или Опять о переводе
Стихи: критикуйте на здоровье:-)
Черновые (неопубликованные) редакции ВК. Желаете больше узнать о любимой книге?


Это те названия, которые были у тредов на момент их сохранения. Оч. может быть (даже наверняка), что они сохранены не полностью. Напоминаю поэтому, что сбор сохраненных страниц продолжается.

Некоторые файлы не получилось распаковать обычным WinRAR-ом. Если есть возможность, присылайте SFX-архивы. В частности Mike Kondratuk.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума   Ответить с цитированием
Ответ

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 23:24. Часовой пояс GMT +4.


Powered by vBulletin® Version 3.6.4


Яндекс.Метрика Яндекс цитирования