Хеннет-Аннун Главная | Новые | Профиль | Регистрация | ЧаВО | Поиск
Календарь | Участники | Выход
Хеннет Аннун : powered by vbulletin version 2.3.9 Хеннет Аннун > Для эвакуированных тем и подготовки к восстановлению > Просьба программистам
 
Предыдущая тема   Следующая тема

Pages (2): « 1 [2]

Новая тема    Ответить
автор
тема   
Vasya Gondorsky
д'Артедайн

дата регистрации: Apr 2002
проживает: К востоку от Моря
сообщений: 8097

quote:
Originally posted by Пластун
Вася, Хоббббит! Ну что там с модулем для выкачивания?

Стандартно можно сделать средствами ASP. Если хочешь, пришлю кусок кода, который это делает, в ПМ.

__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи

сообщить модератору |

Old Post 15-08-2002 15:37
Vasya Gondorsky is offline Профиль PM Поиск В друзья Редактировать | Цитировать
Пластун
In through the out door

дата регистрации: Sep 2002
проживает:
сообщений: 1872

quote:
Originally posted by Vasya Gondorsky

Стандартно можно сделать средствами ASP. Если хочешь, пришлю кусок кода, который это делает, в ПМ.

Если хочешь... Конечно, хочешь!

__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".

сообщить модератору |

Old Post 15-08-2002 16:14
Пластун is offline Профиль PM www Поиск В друзья Редактировать | Цитировать
Vasya Gondorsky
д'Артедайн

дата регистрации: Apr 2002
проживает: К востоку от Моря
сообщений: 8097

quote:
Originally posted by Пластун

Если хочешь... Конечно, хочешь!

Послано!

__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи

сообщить модератору |

Old Post 15-08-2002 17:14
Vasya Gondorsky is offline Профиль PM Поиск В друзья Редактировать | Цитировать

Guest

дата регистрации: Not Yet
проживает:
сообщений: N/A

quote:
Originally posted by Vasya Gondorsky

Стандартно можно сделать средствами ASP. Если хочешь, пришлю кусок кода, который это делает, в ПМ.

Здрасте на вас... Какими средствами ASP это можно сделать?? Только дополнительным компонентом... В Win2k идет стандартно компонент, который называется MSXMLHTTP, с его помощью, можно выдрать страницы с других сайтов. Но он, собака, все русские буквы превращаем в вопросительные знаки! Думал, что это баг 2-ой версии, поставил 4-ую... Тоже самое:-((

сообщить модератору |

Old Post 15-08-2002 18:13
Редактировать | Цитировать
Vasya Gondorsky
д'Артедайн

дата регистрации: Apr 2002
проживает: К востоку от Моря
сообщений: 8097

quote:
Originally posted by Hobbbbit

Здрасте на вас... Какими средствами ASP это можно сделать?? Только дополнительным компонентом... В Win2k идет стандартно компонент, который называется MSXMLHTTP, с его помощью, можно выдрать страницы с других сайтов. Но он, собака, все русские буквы превращаем в вопросительные знаки! Думал, что это баг 2-ой версии, поставил 4-ую... Тоже самое:-((

Я его и имел в виду. Стандартный в том смысле, что обычно стоит на серваке.
Баг этот я знаю как обойти, собственно, именно это и послано Пластуну.

__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи

сообщить модератору |

Old Post 15-08-2002 18:21
Vasya Gondorsky is offline Профиль PM Поиск В друзья Редактировать | Цитировать

Guest

дата регистрации: Not Yet
проживает:
сообщений: N/A

quote:
Originally posted by Vasya Gondorsky
Hobbbbit, ты не забираешь время редактирования и не проверяешь аттачи - я же написал, что нужно.
Текст сообщения таким образом забирать не стоит, ведь есть способ доступа к vB-коду.
В базе нужны только id постов (местные), сам текст не нужен.

Вася, угу... Время редактирования, я умышленно не забираю, оно не столь важно. Аттачи - ну ладно, предположим. А насчет возможности доступа... Ну, давай предположим, что мы собираемся выкачивать в данный момент тред хоббитолюбок... Я без понятия, сколько там людей участвуют в обсуждении, но, скажем, 30, плюс, предположим, что каждое 5-ое сообщение идет с аттачем. Сейчас там ~18600 сообщений. Т.е. для того, что бы это дело выкачать полностью, нам надо будет устроить около 22351 хитов на сервер Imladris. Да тут любой сервер загнется! А если у него все последние патчи, так он нас просто забанит, посчитав за ping of death атаку, при том забанит он нас уже на первой сотне сообщений.

сообщить модератору |

Old Post 15-08-2002 18:22
Редактировать | Цитировать
Vasya Gondorsky
д'Артедайн

дата регистрации: Apr 2002
проживает: К востоку от Моря
сообщений: 8097

Да, пожалуй, ты прав.
Выходит, придется писать парсер HTML->vB.
Ладно, думаю, это не так уж сложно.
Кстати, та же проблема возникает при разборке треда. Как нетрудно посчитать, при просмотре всего форума по тредам придется сделать 105000/30=3500 заходов. Частично проблему можно решить, выставив perpage в querystring побольше.

__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи

сообщить модератору |

Old Post 15-08-2002 18:32
Vasya Gondorsky is offline Профиль PM Поиск В друзья Редактировать | Цитировать
Пластун
In through the out door

дата регистрации: Sep 2002
проживает:
сообщений: 1872

quote:
Originally posted by Vasya Gondorsky
Да, пожалуй, ты прав.
Выходит, придется писать парсер HTML->vB.
Ладно, думаю, это не так уж сложно.
Кстати, та же проблема возникает при разборке треда. Как нетрудно посчитать, при просмотре всего форума по тредам придется сделать 105000/30=3500 заходов. Частично проблему можно решить, выставив perpage в querystring побольше.

Вася, я получил твой скрипт. Путь пока полежит.

Сейчас сделал парсер главной страницы форума. Генерится список урлов, чтобы заходить в треды и скачивать их по 100 штук на странице. У меня получилось на сегодня 648 заходов только чтоб скачать сами треды.

Сделал парсер страниц с тредами. Вытянул id треда, автора, первую дату, последнюю дату, урл аттача. Ничего не забыл?

Теперь делаю парсер страницы профайла. Вы, ребята, говорите, много заходов получается? Что, не писать пока?

__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".

сообщить модератору |

Old Post 15-08-2002 18:56
Пластун is offline Профиль PM www Поиск В друзья Редактировать | Цитировать
Пластун
In through the out door

дата регистрации: Sep 2002
проживает:
сообщений: 1872

Да, я забыл, что дальше. Дальше будем скачивать страницы профайлов, парсить их. Это нетрудно.

А вот насчет заходов в EDIT, не знаю. Во-первых паролей всёрно нет, а во-вторых, много заходов будет. И дело даже не в аттачах, а в общем количестве постов.

Ладно HTML -> vB я завтра напишу.

__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".

сообщить модератору |

Old Post 15-08-2002 18:59
Пластун is offline Профиль PM www Поиск В друзья Редактировать | Цитировать
Vasya Gondorsky
д'Артедайн

дата регистрации: Apr 2002
проживает: К востоку от Моря
сообщений: 8097

Ну, если за 648 не забанили - пока нормально. Профайлы погоды не сделают.
Скинешь мне парсер - проверю, сравнив с реальными vB-кодами своих постов, да и просто погляжу, ок?

__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи

сообщить модератору |

Old Post 15-08-2002 19:04
Vasya Gondorsky is offline Профиль PM Поиск В друзья Редактировать | Цитировать

Guest

дата регистрации: Not Yet
проживает:
сообщений: N/A

quote:
Originally posted by Vasya Gondorsky
Ну, если за 648 не забанили - пока нормально. Профайлы погоды не сделают.
Скинешь мне парсер - проверю, сравнив с реальными vB-кодами своих постов, да и просто погляжу, ок?

И мне тоже тогда копию, пожалуйста.
Насчет разбития на страницы, то это можно убрать поставив perpage равный где-то 20000... Кстати, Пластун, я бы сделал немного по другому. По моему, лучше написать программку, которая будет у тебя запрашивать URL ветви, во-первых, возможно не все ветви нужно будет качать (я бы лично не все качал бы, но дай мне волю и из всего этого форума только 10-15 ветвей переедет:-))))) А во-вторых, тогда каждую ветвь можно будет качать отдельно, т.е. для выдирания ветви нужно будет сделать всего 1+(кол-во новых пользователей)+кол-во аттачментов заходов, а это уже не так много... Могут даже и не заметить... Ну а URL ветвей можно и ручками скачать...

сообщить модератору |

Old Post 15-08-2002 19:50
Редактировать | Цитировать
Vasya Gondorsky
д'Артедайн

дата регистрации: Apr 2002
проживает: К востоку от Моря
сообщений: 8097

Качать надо все, включая аттачи - такова воля Mrs.Underhill.
URLы тредов ручками качать облом, их у нас 573, к тому же, как я понял, Пластун уже записал их все в базу.

__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи

сообщить модератору |

Old Post 15-08-2002 19:56
Vasya Gondorsky is offline Профиль PM Поиск В друзья Редактировать | Цитировать

Guest

дата регистрации: Not Yet
проживает:
сообщений: N/A

quote:
Originally posted by Vasya Gondorsky
Качать надо все, включая аттачи - такова воля Mrs.Underhill.
URLы тредов ручками качать облом, их у нас 573, к тому же, как я понял, Пластун уже записал их все в базу.

Все, так все, только давайте по одному за раз будем качать, а то на самом деле сервер может завопить (правда, обычно патчи ставятся против ping и tracert, а не против HTTP запроса, но все же...). На счет предложения Миссис Аксман о том, что бы просто оставить все аттачменты тут и изменить ссылки... Боюсь, что это не пройдет... Кто знает когда админам Imladrisa взбредет в голову посмотреть access logs и обнаружить что этот форум переехал? Если бы я это обнаружил, то я бы стер сразу же всю ветку Хеннет-Аннун...
Вася, а обход бага веселый. Сам придумал, или вычитал где? А кроме того, я пару раз сталкивался с такой проблемой... XMLHTTP, похоже, не работает по стандартному HTTP протоколу, потому что у меня было несколько раз такое, что он страницу не до конца закачивал...

сообщить модератору |

Old Post 15-08-2002 20:06
Редактировать | Цитировать
Vasya Gondorsky
д'Артедайн

дата регистрации: Apr 2002
проживает: К востоку от Моря
сообщений: 8097

Нашел в Нете, на одном немецком сайте. У них тоже со всякими умляутами проблемы.
А недокачивает он до конца именно в этом случае. А именно, в responseText пишутся вопросы вместо кириллицы, при этом еще поблизости отъедаются куски с нормальной латиницей.
С обходным манёвром, тьфу-тьфу, вроде все докачивается до конца.

__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи

сообщить модератору |

Old Post 15-08-2002 20:26
Vasya Gondorsky is offline Профиль PM Поиск В друзья Редактировать | Цитировать

Guest

дата регистрации: Not Yet
проживает:
сообщений: N/A

quote:
Originally posted by Vasya Gondorsky
Нашел в Нете, на одном немецком сайте. У них тоже со всякими умляутами проблемы.
А недокачивает он до конца именно в этом случае. А именно, в responseText пишутся вопросы вместо кириллицы, при этом еще поблизости отъедаются куски с нормальной латиницей.
С обходным манёвром, тьфу-тьфу, вроде все докачивается до конца.

Отлично, тогда этот способ вполне подходящий! Спасибо за обходные манёвры:-))) Кстати, там в 4 MSXML есть еще один какой-то ServXMLHTTP (или что то типо), который вроде бы быстрее все это дело выкачивает, хотя документацию к нему я читал справо на лево...

сообщить модератору |

Old Post 15-08-2002 20:38
Редактировать | Цитировать
Пластун
In through the out door

дата регистрации: Sep 2002
проживает:
сообщений: 1872

Я качаю FlashGet-ом. Ссылки в базу закачал, но их все равно надо будет заново закачивать.
Парсеры вышлю завтра. Или сегодня поздно ночью.

__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".

сообщить модератору |

Old Post 15-08-2002 21:16
Пластун is offline Профиль PM www Поиск В друзья Редактировать | Цитировать
Пластун
In through the out door

дата регистрации: Sep 2002
проживает:
сообщений: 1872

Что-то я не найду, как приаттачить файл к ПМ. Может пришлете мне мыло на lastun@ledzeppelin.ru">plastun@ledzeppelin.ru. Хочу дать вам черновой вариант двух парсеров.

__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".

сообщить модератору |

Old Post 15-08-2002 22:37
Пластун is offline Профиль PM www Поиск В друзья Редактировать | Цитировать
Пластун
In through the out door

дата регистрации: Sep 2002
проживает:
сообщений: 1872

quote:
Originally posted by Пластун
Что-то я не найду, как приаттачить файл к ПМ. Может пришлете мне мыло на lastun@ledzeppelin.ru">plastun@ledzeppelin.ru. Хочу дать вам черновой вариант двух парсеров.


Можно с http://plastun.narod.ru/Imladris.rar

__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".

сообщить модератору |

Old Post 15-08-2002 22:38
Пластун is offline Профиль PM www Поиск В друзья Редактировать | Цитировать

Guest

дата регистрации: Not Yet
проживает:
сообщений: N/A

quote:
Originally posted by Пластун


Можно с http://plastun.narod.ru/Imladris.rar

Скачал. У меня не работает. Все в вопросительных знаках, но это ладно. Когда нажимаю на 1 - allthreads.htm, говорит "text exceeds memo capacity". На работе у меня всего 128Мб, попробую дома, там у меня Гиг стоит...

О! Заработало, только, почему то только с файлами меньше 50Кб. Работает отлично! Только хорошо бы еще вытаскивать сам текст сообщения, хотя бы в HTMLе пока.
Честно признаюсь, я такие парсеры, такими темпами писать не умею!:-)) Не люблю я в VB работать со строками, мало там функций для меня, да и неудобные они.

сообщить модератору |

Old Post 15-08-2002 22:48
Редактировать | Цитировать
Пластун
In through the out door

дата регистрации: Sep 2002
проживает:
сообщений: 1872

quote:
Originally posted by Hobbbbit

Скачал. У меня не работает. Все в вопросительных знаках, но это ладно. Когда нажимаю на 1 - allthreads.htm, говорит "text exceeds memo capacity". На работе у меня всего 128Мб, попробую дома, там у меня Гиг стоит...

О! Заработало, только, почему то только с файлами меньше 50Кб. Работает отлично! Только хорошо бы еще вытаскивать сам текст сообщения, хотя бы в HTMLе пока.
Честно признаюсь, я такие парсеры, такими темпами писать не умею!:-)) Не люблю я в VB работать со строками, мало там функций для меня, да и неудобные они.


С текстами сообщений надо малость попыхтеть. Возможно все же удастся продвинуть идею Васи. Тогда это будет дело десяти минут.

ЗЫ. Спасибо за бета-тестирование. Очень помогаешь. Кстати, это не скрипт. Это Delphi.

__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".

сообщить модератору |

Old Post 16-08-2002 00:54
Пластун is offline Профиль PM www Поиск В друзья Редактировать | Цитировать
Vasya Gondorsky
д'Артедайн

дата регистрации: Apr 2002
проживает: К востоку от Моря
сообщений: 8097

quote:
Originally posted by Mrs.Underhill
Далее, Vasya - идея с программой, заходящей по ссылке на Edit каждого поста и выкачивающая VB-код, очень хорошая. Однако из соображений безопасности и чтобы не ставить Лэймара в неловкое положение я бы сделала так: пароль в программе сделать входным параметром и программу передать Лэймару, чтоб он сам ее запустил со своим паролем, и не выдавал пароль кому-то еще. А оттестировать на своем пароле либо на форуме Атамана.

Да я не против, просто для этого Лэймару нужен будет свой сервер, на котором идут ASP.
Я могу положить скрипт на какой-нибудь бесплатный сервер, но они обычно ограничены по месту на диске и все посты туда не влезут. Собственно, я и не хотел заполучить пароль Лэймара, он мог бы на тот случай поменять его, дать мне, а после этого поменять обратно. Ладно, я буду думать, как закачать на бесплатный сервер в несколько приемов.

__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи

сообщить модератору |

Old Post 16-08-2002 01:55
Vasya Gondorsky is offline Профиль PM Поиск В друзья Редактировать | Цитировать

Guest

дата регистрации: Not Yet
проживает:
сообщений: N/A

quote:
Originally posted by Пластун


С текстами сообщений надо малость попыхтеть. Возможно все же удастся продвинуть идею Васи. Тогда это будет дело десяти минут.

ЗЫ. Спасибо за бета-тестирование. Очень помогаешь. Кстати, это не скрипт. Это Delphi.

Угу, я уже потом понял что это Delphi, по иконке:-))) А вообще, я еще из дома попробую все это дело, посмотрим как там это будет работать... А с Edit, можно попробовать, тем более, что в QueryString есть параметр s который держит номер сессии, т.е. если в начале зайти как админ на форум, а потом в программку закинуть номер сессии, то она должна лазить по форуму с админскими привилегиями, без пароля и logina.

сообщить модератору |

Old Post 16-08-2002 13:20
Редактировать | Цитировать
Пластун
In through the out door

дата регистрации: Sep 2002
проживает:
сообщений: 1872

 Тест

А редактировать их можно?

ЗЫ. А почему собственно нет?

__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".

сообщить модератору | IP: Logged

Old Post 30-09-2002 13:17
Пластун is offline Профиль PM www Поиск В друзья Редактировать | Цитировать
All times are GMT. The time now is 11:02.   
Pages (2): « 1 [2]  

Предыдущая тема   Cледующая тема

Новая тема    Ответить
версия для печати | отправить страницу по email | Подписаться на эту тему

перейти на:
 

правила форума:
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts 		HTML code is Вкл.
vB code is Вкл.
Smilies are Вкл.
[IMG] code is Вкл.
 

Powered by vBulletin version 2.3.9 copyright ©2000-2002, Jelsoft Enterprises Limited.