про парсинг
(15:16:04) demiurg: источников много?
(15:16:30) db: 16, возможно меньше придется парсить
(15:17:11) demiurg: цена за штуку?
(15:17:47) db: цена за вс 70
срок выполнения 2 дня
(15:18:22) demiurg: это нереально
(15:19:11) db: почему?
(15:21:56) demiurg: 1. парсинг одного источника стоит не менее 40$, часто больше (зависит от объема и сложности структуры сайта-донора)
2. 16 парсеров за 2 дня - это рабство )
(15:22:36) db: парсинг 1 сайта - максимум 2 часа
(15:25:08) demiurg: даже если так (что очень сомнительно), 2*16=32 часа непрерывной работы. мой рейт 15$ в час ->
15*32=480$
(15:26:09) demiurg: и это при том, что я еще не видел доноров
(15:26:22) db: хорошо вы зарабатываете
Про него же (почти)
(10:43:38) demiurg: проект еще актуален?
(10:43:56)
http://www.dtkt.com.ua/: да я только вечером разместил
(10:44:30) demiurg: можно подробней узнать - что именно нужно с сайта и в каком виде?
(10:44:53)
http://www.dtkt.com.ua/:
http://www.dtkt.com.ua/show/0sid118.html
(10:46:20) demiurg: хорошо, это новости. а о каком еще контенте идет речь в проекте?
(10:48:44)
http://www.dtkt.com.ua/: http://***.com.ua/ это сайт куда парсить нужно
(10:48:55)
http://www.dtkt.com.ua/: в полезное
(10:51:47) demiurg: там у вас разложены статьи по категориям. откуда их брать?
(10:52:15)
http://www.dtkt.com.ua/: см ссылки тот же dtkt
(10:52:46)
http://www.dtkt.com.ua/: я не хочу все это закачивать хочу парсить
(10:53:23) demiurg: так в каком виде должен быть результат парсинга?
(10:56:53)
http://www.dtkt.com.ua/: сейчас ссылки в данном разделе отправляют на дебет-кредит, а я хочу чтоб на спарсенную страницу на моем сайте
(10:58:19) demiurg: хорошо
для этого надо вам добавить эту страницу себе на сайт
парсер вам дает ее название и контент
так вот в каком виде вам нужно давать эту информацию?
(11:00:05)
http://www.dtkt.com.ua/: ??? в виде статьи на моей стр.*DONT_KNOW*
(11:00:19) demiurg: и как она туда попадет?
(11:01:12)
http://www.dtkt.com.ua/: я понимаю с помошью скрипта.... который будет ее забирать
(11:01:51)
http://www.dtkt.com.ua/: примерно так же как забирают новости
(11:02:29) demiurg: что должен сделать скрипт, чтобы добавить страницу к вам на сайт?
у вас кто угодно может материалы добавлять?
(11:03:38)
http://www.dtkt.com.ua/: ну ссылки наверное мне придется ручками освежать периодически
(11:06:29) demiurg: так. давайте пройдемся по всей цепочке.
1. парсер получает страничку с сайта dk
2. парсер ее обрабатывает и извлекает из нее нужную информацию (собственно парсинг)
3. парсер информацию сохраняет (куда и как - должны сказать вы)
4. вы используете полученную информацию как бог на душу положит (с соблюдением законодательства)
(11:06:46) demiurg: вот пункт 3 мне не ясен до конца
(11:07:34)
http://www.dtkt.com.ua/: теперь я понял..
(11:07:43)
http://www.dtkt.com.ua/: щас попробую объяснить
(11:09:13)
http://www.dtkt.com.ua/: мне не нужно ничего сохранять - мне нужно чтоб страница забиралась по клику
(11:10:40)
http://www.dtkt.com.ua/: там материала немерянно и возможно что 99 проц не понадобиться никогда
(11:11:04) demiurg: так, распишите вас алгоритм - и все станет ясно
(11:11:10) demiurg: *ваш
(11:12:21)
http://www.dtkt.com.ua/: может созвонимся если вы территориально на укр
(11:12:35) demiurg: в Москве
(11:14:46)
http://www.dtkt.com.ua/: мда тогда еще раз я помещаю ссылки на нужные статьи у себя а скрипт сгенерит страницу с нужной статьей по клику (чтоб не качать всю эту муть)
(11:16:10) demiurg: чтоб сгенерить страницу, ему так и так придется скачать "эту муть", иначе откуда возьмется контент?
что еще хуже, качать "муть" придется по каждому клику (если конечно не делать кэш)
(11:17:00)
http://www.dtkt.com.ua/: я имел в виду чтоб мне не пришлось все закачивать
(11:18:21)
http://www.dtkt.com.ua/: это все скорее для роботов чем для людей , понимаете?
(11:18:39) demiurg: ну вот представьте - у вас есть 100 ссылок, из них 10 популярны и нажимаются по 10 раз в день (остальные не нажимаются совсем, для простоты) - получается 100 закачек в день
(11:19:03) demiurg: получается, проще 1 раз скачать все 100 статей
(11:20:12) demiurg: а робот, к тому же, пройдет по всем ссылкам и вы получите еще 100 скачиваний
(11:20:44) demiurg: так что либо кэш, либо качать всё
(11:20:55)
http://www.dtkt.com.ua/: мне не нужно все это хранить
(11:21:43) demiurg: вы не хотите хранить и не хотите качать - так откуда возьмется контент?
(11:23:11)
http://www.dtkt.com.ua/: у вас серьезный подход, видимо я не дорос до такого уровня