Хеннет Аннун Властелин Колец: Аннотация к саундтрекуХоббит: проект Нежданный БуклетНовая Зеландия, или Туда и обратно      

Вернуться   Хеннет Аннун > Архив: Для эвакуированных тем и подготовки к восстановлению

 
 
Опции темы Поиск в этой теме
Старый 15.08.2002, 18:37   #31
Vasya Gondorsky
Зарегистрированный пользователь
 
Аватар для Vasya Gondorsky
 
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
Цитата:
Originally posted by Пластун
Вася, Хоббббит! Ну что там с модулем для выкачивания?
Стандартно можно сделать средствами ASP. Если хочешь, пришлю кусок кода, который это делает, в ПМ.
__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи
Vasya Gondorsky вне форума  
Старый 15.08.2002, 19:14   #32
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Цитата:
Originally posted by Vasya Gondorsky

Стандартно можно сделать средствами ASP. Если хочешь, пришлю кусок кода, который это делает, в ПМ.
Если хочешь... Конечно, хочешь!
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума  
Старый 15.08.2002, 20:14   #33
Vasya Gondorsky
Зарегистрированный пользователь
 
Аватар для Vasya Gondorsky
 
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
Цитата:
Originally posted by Пластун

Если хочешь... Конечно, хочешь!
Послано!
__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи
Vasya Gondorsky вне форума  
Старый 15.08.2002, 21:13   #34
Гость
 
Сообщений: n/a
Цитата:
Originally posted by Vasya Gondorsky

Стандартно можно сделать средствами ASP. Если хочешь, пришлю кусок кода, который это делает, в ПМ.
Здрасте на вас... Какими средствами ASP это можно сделать?? Только дополнительным компонентом... В Win2k идет стандартно компонент, который называется MSXMLHTTP, с его помощью, можно выдрать страницы с других сайтов. Но он, собака, все русские буквы превращаем в вопросительные знаки! Думал, что это баг 2-ой версии, поставил 4-ую... Тоже самое:-((
 
Старый 15.08.2002, 21:21   #35
Vasya Gondorsky
Зарегистрированный пользователь
 
Аватар для Vasya Gondorsky
 
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
Цитата:
Originally posted by Hobbbbit

Здрасте на вас... Какими средствами ASP это можно сделать?? Только дополнительным компонентом... В Win2k идет стандартно компонент, который называется MSXMLHTTP, с его помощью, можно выдрать страницы с других сайтов. Но он, собака, все русские буквы превращаем в вопросительные знаки! Думал, что это баг 2-ой версии, поставил 4-ую... Тоже самое:-((
Я его и имел в виду. Стандартный в том смысле, что обычно стоит на серваке.
Баг этот я знаю как обойти, собственно, именно это и послано Пластуну.
__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи
Vasya Gondorsky вне форума  
Старый 15.08.2002, 21:22   #36
Гость
 
Сообщений: n/a
Цитата:
Originally posted by Vasya Gondorsky
Hobbbbit, ты не забираешь время редактирования и не проверяешь аттачи - я же написал, что нужно.
Текст сообщения таким образом забирать не стоит, ведь есть способ доступа к vB-коду.
В базе нужны только id постов (местные), сам текст не нужен.
Вася, угу... Время редактирования, я умышленно не забираю, оно не столь важно. Аттачи - ну ладно, предположим. А насчет возможности доступа... Ну, давай предположим, что мы собираемся выкачивать в данный момент тред хоббитолюбок... Я без понятия, сколько там людей участвуют в обсуждении, но, скажем, 30, плюс, предположим, что каждое 5-ое сообщение идет с аттачем. Сейчас там ~18600 сообщений. Т.е. для того, что бы это дело выкачать полностью, нам надо будет устроить около 22351 хитов на сервер Imladris. Да тут любой сервер загнется! А если у него все последние патчи, так он нас просто забанит, посчитав за ping of death атаку, при том забанит он нас уже на первой сотне сообщений.
 
Старый 15.08.2002, 21:32   #37
Vasya Gondorsky
Зарегистрированный пользователь
 
Аватар для Vasya Gondorsky
 
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
Да, пожалуй, ты прав.
Выходит, придется писать парсер HTML->vB.
Ладно, думаю, это не так уж сложно.
Кстати, та же проблема возникает при разборке треда. Как нетрудно посчитать, при просмотре всего форума по тредам придется сделать 105000/30=3500 заходов. Частично проблему можно решить, выставив perpage в querystring побольше.
__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи
Vasya Gondorsky вне форума  
Старый 15.08.2002, 21:56   #38
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Цитата:
Originally posted by Vasya Gondorsky
Да, пожалуй, ты прав.
Выходит, придется писать парсер HTML->vB.
Ладно, думаю, это не так уж сложно.
Кстати, та же проблема возникает при разборке треда. Как нетрудно посчитать, при просмотре всего форума по тредам придется сделать 105000/30=3500 заходов. Частично проблему можно решить, выставив perpage в querystring побольше.
Вася, я получил твой скрипт. Путь пока полежит.

Сейчас сделал парсер главной страницы форума. Генерится список урлов, чтобы заходить в треды и скачивать их по 100 штук на странице. У меня получилось на сегодня 648 заходов только чтоб скачать сами треды.

Сделал парсер страниц с тредами. Вытянул id треда, автора, первую дату, последнюю дату, урл аттача. Ничего не забыл?

Теперь делаю парсер страницы профайла. Вы, ребята, говорите, много заходов получается? Что, не писать пока?
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума  
Старый 15.08.2002, 21:59   #39
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Да, я забыл, что дальше. Дальше будем скачивать страницы профайлов, парсить их. Это нетрудно.

А вот насчет заходов в EDIT, не знаю. Во-первых паролей всёрно нет, а во-вторых, много заходов будет. И дело даже не в аттачах, а в общем количестве постов.

Ладно HTML -> vB я завтра напишу.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума  
Старый 15.08.2002, 22:04   #40
Vasya Gondorsky
Зарегистрированный пользователь
 
Аватар для Vasya Gondorsky
 
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
Ну, если за 648 не забанили - пока нормально. Профайлы погоды не сделают. <img src="images/smilies/smile.gif" border="0" alt="">
Скинешь мне парсер - проверю, сравнив с реальными vB-кодами своих постов, да и просто погляжу, ок?
__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи
Vasya Gondorsky вне форума  
Старый 15.08.2002, 22:50   #41
Гость
 
Сообщений: n/a
Цитата:
Originally posted by Vasya Gondorsky
Ну, если за 648 не забанили - пока нормально. Профайлы погоды не сделают. <img src="images/smilies/smile.gif" border="0" alt="">
Скинешь мне парсер - проверю, сравнив с реальными vB-кодами своих постов, да и просто погляжу, ок?
И мне тоже тогда копию, пожалуйста.
Насчет разбития на страницы, то это можно убрать поставив perpage равный где-то 20000... Кстати, Пластун, я бы сделал немного по другому. По моему, лучше написать программку, которая будет у тебя запрашивать URL ветви, во-первых, возможно не все ветви нужно будет качать (я бы лично не все качал бы, но дай мне волю и из всего этого форума только 10-15 ветвей переедет:-))))) А во-вторых, тогда каждую ветвь можно будет качать отдельно, т.е. для выдирания ветви нужно будет сделать всего 1+(кол-во новых пользователей)+кол-во аттачментов заходов, а это уже не так много... Могут даже и не заметить... Ну а URL ветвей можно и ручками скачать...
 
Старый 15.08.2002, 22:56   #42
Vasya Gondorsky
Зарегистрированный пользователь
 
Аватар для Vasya Gondorsky
 
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
Качать надо все, включая аттачи - такова воля Mrs.Underhill.
URLы тредов ручками качать облом, их у нас 573, к тому же, как я понял, Пластун уже записал их все в базу.
__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи
Vasya Gondorsky вне форума  
Старый 15.08.2002, 23:06   #43
Гость
 
Сообщений: n/a
Цитата:
Originally posted by Vasya Gondorsky
Качать надо все, включая аттачи - такова воля Mrs.Underhill.
URLы тредов ручками качать облом, их у нас 573, к тому же, как я понял, Пластун уже записал их все в базу.
Все, так все, только давайте по одному за раз будем качать, а то на самом деле сервер может завопить (правда, обычно патчи ставятся против ping и tracert, а не против HTTP запроса, но все же...). На счет предложения Миссис Аксман о том, что бы просто оставить все аттачменты тут и изменить ссылки... Боюсь, что это не пройдет... Кто знает когда админам Imladrisa взбредет в голову посмотреть access logs и обнаружить что этот форум переехал? Если бы я это обнаружил, то я бы стер сразу же всю ветку Хеннет-Аннун...
Вася, а обход бага веселый. Сам придумал, или вычитал где? А кроме того, я пару раз сталкивался с такой проблемой... XMLHTTP, похоже, не работает по стандартному HTTP протоколу, потому что у меня было несколько раз такое, что он страницу не до конца закачивал...
 
Старый 15.08.2002, 23:26   #44
Vasya Gondorsky
Зарегистрированный пользователь
 
Аватар для Vasya Gondorsky
 
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
Нашел в Нете, на одном немецком сайте. У них тоже со всякими умляутами проблемы.
А недокачивает он до конца именно в этом случае. А именно, в responseText пишутся вопросы вместо кириллицы, при этом еще поблизости отъедаются куски с нормальной латиницей.
С обходным манёвром, тьфу-тьфу, вроде все докачивается до конца.
__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи
Vasya Gondorsky вне форума  
Старый 15.08.2002, 23:38   #45
Гость
 
Сообщений: n/a
Цитата:
Originally posted by Vasya Gondorsky
Нашел в Нете, на одном немецком сайте. У них тоже со всякими умляутами проблемы.
А недокачивает он до конца именно в этом случае. А именно, в responseText пишутся вопросы вместо кириллицы, при этом еще поблизости отъедаются куски с нормальной латиницей.
С обходным манёвром, тьфу-тьфу, вроде все докачивается до конца.
Отлично, тогда этот способ вполне подходящий! Спасибо за обходные манёвры:-))) Кстати, там в 4 MSXML есть еще один какой-то ServXMLHTTP (или что то типо), который вроде бы быстрее все это дело выкачивает, хотя документацию к нему я читал справо на лево...
 
Старый 16.08.2002, 00:16   #46
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Я качаю FlashGet-ом. Ссылки в базу закачал, но их все равно надо будет заново закачивать.
Парсеры вышлю завтра. Или сегодня поздно ночью.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума  
Старый 16.08.2002, 01:37   #47
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Что-то я не найду, как приаттачить файл к ПМ. Может пришлете мне мыло на <a href="mailto[email protected]">[email protected]</a>. Хочу дать вам черновой вариант двух парсеров.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума  
Старый 16.08.2002, 01:38   #48
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Цитата:
Originally posted by Пластун
Что-то я не найду, как приаттачить файл к ПМ. Может пришлете мне мыло на <a href="mailto[email protected]">[email protected]</a>. Хочу дать вам черновой вариант двух парсеров.
Можно с <a href="http://plastun.narod.ru/Imladris.rar" target="_blank">http://plastun.narod.ru/Imladris.rar</a>
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума  
Старый 16.08.2002, 01:48   #49
Гость
 
Сообщений: n/a
Цитата:
Originally posted by Пластун


Можно с <a href="http://plastun.narod.ru/Imladris.rar" target="_blank">http://plastun.narod.ru/Imladris.rar</a>
Скачал. У меня не работает. Все в вопросительных знаках, но это ладно. Когда нажимаю на 1 - allthreads.htm, говорит "text exceeds memo capacity". На работе у меня всего 128Мб, попробую дома, там у меня Гиг стоит...
<HR>
О! Заработало, только, почему то только с файлами меньше 50Кб. Работает отлично! Только хорошо бы еще вытаскивать сам текст сообщения, хотя бы в HTMLе пока.
Честно признаюсь, я такие парсеры, такими темпами писать не умею!:-)) Не люблю я в VB работать со строками, мало там функций для меня, да и неудобные они.
 
Старый 16.08.2002, 03:54   #50
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Цитата:
Originally posted by Hobbbbit

Скачал. У меня не работает. Все в вопросительных знаках, но это ладно. Когда нажимаю на 1 - allthreads.htm, говорит "text exceeds memo capacity". На работе у меня всего 128Мб, попробую дома, там у меня Гиг стоит...
<HR>
О! Заработало, только, почему то только с файлами меньше 50Кб. Работает отлично! Только хорошо бы еще вытаскивать сам текст сообщения, хотя бы в HTMLе пока.
Честно признаюсь, я такие парсеры, такими темпами писать не умею!:-)) Не люблю я в VB работать со строками, мало там функций для меня, да и неудобные они.
С текстами сообщений надо малость попыхтеть. Возможно все же удастся продвинуть идею Васи. Тогда это будет дело десяти минут.

ЗЫ. Спасибо за бета-тестирование. Очень помогаешь. Кстати, это не скрипт. Это Delphi.
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума  
Старый 16.08.2002, 04:55   #51
Vasya Gondorsky
Зарегистрированный пользователь
 
Аватар для Vasya Gondorsky
 
Регистрация: 15.04.2002
Адрес: К востоку от Моря
Сообщений: 8,291
Лайки: 0
Цитата:
Originally posted by Mrs.Underhill
Далее, Vasya - идея с программой, заходящей по ссылке на Edit каждого поста и выкачивающая VB-код, очень хорошая. Однако из соображений безопасности и чтобы не ставить Лэймара в неловкое положение я бы сделала так: пароль в программе сделать входным параметром и программу передать Лэймару, чтоб он сам ее запустил со своим паролем, и не выдавал пароль кому-то еще. А оттестировать на своем пароле либо на форуме Атамана.
Да я не против, просто для этого Лэймару нужен будет свой сервер, на котором идут ASP.
Я могу положить скрипт на какой-нибудь бесплатный сервер, но они обычно ограничены по месту на диске и все посты туда не влезут. Собственно, я и не хотел заполучить пароль Лэймара, он мог бы на тот случай поменять его, дать мне, а после этого поменять обратно. Ладно, я буду думать, как закачать на бесплатный сервер в несколько приемов.
__________________
Главное, ребята, fёa не стареть!

Рассказъ у насъ пойдётъ въ особенности о хоббитахъ, и любознательный
читатель многое узнаетъ объ ихъ нравахъ и кое-что изъ ихъ исторiи
Vasya Gondorsky вне форума  
Старый 16.08.2002, 16:20   #52
Гость
 
Сообщений: n/a
Цитата:
Originally posted by Пластун


С текстами сообщений надо малость попыхтеть. Возможно все же удастся продвинуть идею Васи. Тогда это будет дело десяти минут.

ЗЫ. Спасибо за бета-тестирование. Очень помогаешь. Кстати, это не скрипт. Это Delphi.
Угу, я уже потом понял что это Delphi, по иконке:-))) А вообще, я еще из дома попробую все это дело, посмотрим как там это будет работать... А с Edit, можно попробовать, тем более, что в QueryString есть параметр s который держит номер сессии, т.е. если в начале зайти как админ на форум, а потом в программку закинуть номер сессии, то она должна лазить по форуму с админскими привилегиями, без пароля и logina.
 
Старый 30.09.2002, 16:17   #53
Пластун
Модератор
 
Аватар для Пластун
 
Регистрация: 02.09.2002
Сообщений: 2,316
Лайки: 71
Тест

А редактировать их можно?

ЗЫ. А почему собственно нет?
__________________
Ну не пишите "вообщем". Пишите "в общем" или "вообще".
Пластун вне форума  
 

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 01:06. Часовой пояс GMT +4.


Powered by vBulletin® Version 3.6.4


Яндекс.Метрика Яндекс цитирования