15.08.2002, 18:37 | #31 | |
Зарегистрированный пользователь
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
|
Цитата:
__________________
Главное, ребята, fёa не стареть! Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи |
|
15.08.2002, 19:14 | #32 | |
Модератор
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
|
Цитата:
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще". |
|
15.08.2002, 20:14 | #33 | |
Зарегистрированный пользователь
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
|
Цитата:
__________________
Главное, ребята, fёa не стареть! Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи |
|
15.08.2002, 21:13 | #34 | |
Гость
Сообщений: n/a
|
Цитата:
|
|
15.08.2002, 21:21 | #35 | |
Зарегистрированный пользователь
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
|
Цитата:
Баг этот я знаю как обойти, собственно, именно это и послано Пластуну.
__________________
Главное, ребята, fёa не стареть! Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи |
|
15.08.2002, 21:22 | #36 | |
Гость
Сообщений: n/a
|
Цитата:
|
|
15.08.2002, 21:32 | #37 |
Зарегистрированный пользователь
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
|
Да, пожалуй, ты прав.
Выходит, придется писать парсер HTML->vB. Ладно, думаю, это не так уж сложно. Кстати, та же проблема возникает при разборке треда. Как нетрудно посчитать, при просмотре всего форума по тредам придется сделать 105000/30=3500 заходов. Частично проблему можно решить, выставив perpage в querystring побольше.
__________________
Главное, ребята, fёa не стареть! Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи |
15.08.2002, 21:56 | #38 | |
Модератор
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
|
Цитата:
Сейчас сделал парсер главной страницы форума. Генерится список урлов, чтобы заходить в треды и скачивать их по 100 штук на странице. У меня получилось на сегодня 648 заходов только чтоб скачать сами треды. Сделал парсер страниц с тредами. Вытянул id треда, автора, первую дату, последнюю дату, урл аттача. Ничего не забыл? Теперь делаю парсер страницы профайла. Вы, ребята, говорите, много заходов получается? Что, не писать пока?
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще". |
|
15.08.2002, 21:59 | #39 |
Модератор
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
|
Да, я забыл, что дальше. Дальше будем скачивать страницы профайлов, парсить их. Это нетрудно.
А вот насчет заходов в EDIT, не знаю. Во-первых паролей всёрно нет, а во-вторых, много заходов будет. И дело даже не в аттачах, а в общем количестве постов. Ладно HTML -> vB я завтра напишу.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще". |
15.08.2002, 22:04 | #40 |
Зарегистрированный пользователь
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
|
Ну, если за 648 не забанили - пока нормально. Профайлы погоды не сделают. <img src="images/smilies/smile.gif" border="0" alt="">
Скинешь мне парсер - проверю, сравнив с реальными vB-кодами своих постов, да и просто погляжу, ок?
__________________
Главное, ребята, fёa не стареть! Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи |
15.08.2002, 22:50 | #41 | |
Гость
Сообщений: n/a
|
Цитата:
Насчет разбития на страницы, то это можно убрать поставив perpage равный где-то 20000... Кстати, Пластун, я бы сделал немного по другому. По моему, лучше написать программку, которая будет у тебя запрашивать URL ветви, во-первых, возможно не все ветви нужно будет качать (я бы лично не все качал бы, но дай мне волю и из всего этого форума только 10-15 ветвей переедет:-))))) А во-вторых, тогда каждую ветвь можно будет качать отдельно, т.е. для выдирания ветви нужно будет сделать всего 1+(кол-во новых пользователей)+кол-во аттачментов заходов, а это уже не так много... Могут даже и не заметить... Ну а URL ветвей можно и ручками скачать... |
|
15.08.2002, 22:56 | #42 |
Зарегистрированный пользователь
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
|
Качать надо все, включая аттачи - такова воля Mrs.Underhill.
URLы тредов ручками качать облом, их у нас 573, к тому же, как я понял, Пластун уже записал их все в базу.
__________________
Главное, ребята, fёa не стареть! Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи |
15.08.2002, 23:06 | #43 | |
Гость
Сообщений: n/a
|
Цитата:
Вася, а обход бага веселый. Сам придумал, или вычитал где? А кроме того, я пару раз сталкивался с такой проблемой... XMLHTTP, похоже, не работает по стандартному HTTP протоколу, потому что у меня было несколько раз такое, что он страницу не до конца закачивал... |
|
15.08.2002, 23:26 | #44 |
Зарегистрированный пользователь
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
|
Нашел в Нете, на одном немецком сайте. У них тоже со всякими умляутами проблемы.
А недокачивает он до конца именно в этом случае. А именно, в responseText пишутся вопросы вместо кириллицы, при этом еще поблизости отъедаются куски с нормальной латиницей. С обходным манёвром, тьфу-тьфу, вроде все докачивается до конца.
__________________
Главное, ребята, fёa не стареть! Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи |
15.08.2002, 23:38 | #45 | |
Гость
Сообщений: n/a
|
Цитата:
|
|
16.08.2002, 00:16 | #46 |
Модератор
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
|
Я качаю FlashGet-ом. Ссылки в базу закачал, но их все равно надо будет заново закачивать.
Парсеры вышлю завтра. Или сегодня поздно ночью.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще". |
16.08.2002, 01:37 | #47 |
Модератор
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
|
Что-то я не найду, как приаттачить файл к ПМ. Может пришлете мне мыло на <a href="mailto[email protected]">[email protected]</a>. Хочу дать вам черновой вариант двух парсеров.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще". |
16.08.2002, 01:38 | #48 | |
Модератор
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
|
Цитата:
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще". |
|
16.08.2002, 01:48 | #49 | |
Гость
Сообщений: n/a
|
Цитата:
<HR> О! Заработало, только, почему то только с файлами меньше 50Кб. Работает отлично! Только хорошо бы еще вытаскивать сам текст сообщения, хотя бы в HTMLе пока. Честно признаюсь, я такие парсеры, такими темпами писать не умею!:-)) Не люблю я в VB работать со строками, мало там функций для меня, да и неудобные они. |
|
16.08.2002, 03:54 | #50 | |
Модератор
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
|
Цитата:
ЗЫ. Спасибо за бета-тестирование. Очень помогаешь. Кстати, это не скрипт. Это Delphi.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще". |
|
16.08.2002, 04:55 | #51 | |
Зарегистрированный пользователь
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
|
Цитата:
Я могу положить скрипт на какой-нибудь бесплатный сервер, но они обычно ограничены по месту на диске и все посты туда не влезут. Собственно, я и не хотел заполучить пароль Лэймара, он мог бы на тот случай поменять его, дать мне, а после этого поменять обратно. Ладно, я буду думать, как закачать на бесплатный сервер в несколько приемов.
__________________
Главное, ребята, fёa не стареть! Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи |
|
16.08.2002, 16:20 | #52 | |
Гость
Сообщений: n/a
|
Цитата:
|
|
30.09.2002, 16:17 | #53 |
Модератор
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
|
Тест
А редактировать их можно?
ЗЫ. А почему собственно нет?
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще". |