Парсим Яндекс под Sape

Опубликовано cross в Общее      2 комментов

Ноя
25

Как заработать на любви

В продолженние темы парсинга с помощью php, только теперь видимых в Яндексе сайтов показываю скриптец, который вам поможет упростить работу с Sape.

<?                   
  $count_pages=20;

  for($a=0;$a<$count_pages;$a++)
  {
   $url="http://www.yandex.ru/yandsearch?&p=".$a."&text=url%3D%22blog.itcross.net%22+%7C+url%3D%22blog.itcross.net%2F*%22&pag=u&lr=187";

   $file=file_get_contents($url);
   $file=str_replace("\n","",str_replace("\r","",str_replace("\r\n","",str_replace("\t","",$file))));
   preg_match_all("/\<span style=\"color:#060;\"\>(.*?)\ \·\ /",$file,$urls);

      if(!count($urls)) break;

   for($i=0;$i<count($urls[1]);$i++)
    echo $urls[1][$i]."<br>";
  }

?>

Все, что необходимо сделать, оформить в Яндексе запрос вида url="blog.itcross.net" | url="blog.itcross.net/*", подставив свой сайт, оценить количество проиндексированных страниц и подправить url и count_pages переменные под себя. Парсер готов.

Почему много денег? Потому что Главмед!

Необразованные программисты

Опубликовано cross в Ошибочные запросы      3 комментов

Ноя
24

Форум вебмастеров

Вчера, когда писал пост про кодировку Ajax, решил проанализировать, что же нужно людям по данной тематике и очень удивился!

jaxx 547
ayax 41
ajacs 15
ajaks 48

Интересно, что же можно напрограммировать такого интересного, если даже название технологии путается в голове с какими-то ошибками

Работая с Главмед ты услышишь звон монет

Ajax и кодировка запросов

Опубликовано cross в Разработка сайтов      8 комментов

Ноя
23

Буржуй ваш - таблетки наши. Конверт просто улётный! GlavMed.com

Неотъемлемая часть Web2.0 проекта использование интерактивного интерфейса, реализацию который приобрел лице Ajax. Я уже немного касался этой темы и сейчас, когда вплотную поставил себя в условия изучения этой технологии обнаружил, что как и любая технология она имеет свои подвохи.

AJAX (от англ. Asynchronous JavaScript and XML — «асинхронный JavaScript и XML») — это подход к построению интерактивных пользовательских интерфейсов веб-приложений, заключающийся в «фоновом» обмене данными браузера с веб-сервером. В результате при обновлении данных веб-страница не перезагружается полностью, и веб-приложения могут быть сделаны более быстрыми и удобными.

Описывать основы работы Ajax с PHP я не стану, поскольку об этом есть много статей и общеступной информации. Все и так могут скачать Ajax скрипты и изучить работу основного компонета XMLHttpRequest.

Сейчас же хочется в качестве полезной заметки описать решение, которое я использовал для борьбы с неправильной кодировкой запроса, в частности при посылке его пользователем через браузер Opera.  Ситуация такова:

1. Браузер IE, заполняется форма, через Ajax отправляется в скрипт PHP, где происходит insert в базу. В результате в базе текст в номальной кодировке.
2. Браузер IE, теми же данными заполняется форма, через Ajax отправляется в скрипт PHP, где происходит insert в базу. В результате в базе текст в непонятной кодировке.

Первое, что приходит на ум, проверить кодировку. Недолго серфя по инету находим функцию mb_detect_encoding, но и с ее помощью кодировку не получается определить нормально. В итоге находится функция mb_convert_encoding, которая умеет перекодировать текстовые данные и получаю немного подогнав ответ:

 $encoded_data=mb_convert_encoding($_GET['data'],'Windows-1251','UTF-8');
 $data=(mb_detect_encoding($_GET['data'],"auto",true)=='')?$_GET['data']:$encoded_data;
 $data=trim(strtolower($data));

Только подобные преобразования get запроса от javascript в исполняемом PHP файлике помогают справиться с неправльной кодировкой для обоих браузеров и русский текст инсертится в базу с любой кодировкой... Разбираюсь дальше, а пока.

Maxsite тоже борется с кодировкой ну надо же. Притяжение, чтоли опять, или я просто фрик-идеями себе забиваю голову? А вто Zpro до сих пор еще не осознал, что осень - это пора депрессий, а значит даже малейшее несоотвествие реальности своим идеям и желаниям приводит к негативным мыслям или их отсутствию. Осознание проблемы ~ это решение проблемы.

Вот такие javascript штуки мне не очень понятны, но надеюсь скоро освою все в полной мере.
 
Форум вебмастеров