Тогда же был введен в обиход интернетчиков термин «краулер» или «паук», который применяется, как мы уже говорили, и по сей день.
Ну а далее ситуация развивалась еще более стремительно. Крис Шерман и Гари Прайс приводят такую хронологию возникновения и развития современных поисковых машин.
1994 г. – WebCrawler, Lycos, Yahoo!
1995 г. – Infoseek, SavvySearch, AltaVista, MetCrawler, Excite. Появление метапоисковых машин.
1996 г. – HotBot, LookSmart.
1997 г. – NorthernLight.
1998 г. – Google, InvisibleWeb.com.
1999 г. – FAST.
2000 г. и далее – Сотни новых поисковых машин.
Русскоязычные поисковые машины появлялись в такой последовательности:
1996 г. – Rambler (www.rambler.ru);
1997 г. – Yandex (www.yandex.ru);
2004 г. – русскоязычная версия Google (www.google.ru) и русскоязычная версия Yahoo! (http://ru.yahoo.com).
Прежде, чем перейти к описанию языка запросов поисковых машин, рассмотрим, из каких элементов, с которыми предстоит работать пауку, состоит обычно сайт.
Надо сказать, что язык HTML достаточно прост и логичен. Он представляет собой способ разбивки текста с помощью специальных элементов – тегов, которые определяют структуру и внешний вид текста при просмотре его в браузере. О тегах следует знать, что они всегда парные и что они бывают открывающими (обозначают начало определенного форматирования) и закрывающими (обозначают его окончание). Закрывающий тег – такой же по написанию, как открывающий, но перед ним стоит косая черта.
Приведем пример очень простого сайта (рис. 1).
Рис. 1. Пример сайта, как его видно в браузере Мозилла Файрфокс.
Наверху страницы, изображенной на рисунке, то есть не в тексте сайта, а на верхнем поле рамки страницы, рядом с круглым значком браузера, расположена надпись: «Показываем устройство сайта». Она находится в так называемом заголовке страницы (который заключен между открывающим тегом
и закрывающим тегом ). Обращаем ваше внимание на то, что это заголовок именно всей страницы, а не текста.
Посередине представленного рисунка жирным курсивом выведено: «Это простой сайт». Данная надпись – и есть заголовок текста. Шрифт фразы «Это простой сайт» по размеру превосходит шрифт текста на сайте, он специально выделен как заголовок текста. При разметке с помощью HTML этот текст расположен ниже тега
, но при этом вместе с тегом <TITLE> находится внутри тега <Head>. То есть содержимое, заключенное в <TITLE>, – это часть того, что находится в <Head>. Такое расположение дает дополнительную возможность пауку лучше определять ключевые слова на сайте. Ведь если слова вынесены в заголовок текста или, тем более, всей страницы, вероятность того, что страница и текст посвящены теме, формулируемой этими словами, повышается.</p></div></div>
<!-- Yandex.RTB R-A-5585048-7 -->
<div id="yandex_rtb_R-A-5585048-7" class="rkl"><div class="rasporka"></div></div>
<script>
window.yaContextCb.push(()=>{
Ya.Context.AdvManager.render({
"blockId": "R-A-5585048-7",
"renderTo": "yandex_rtb_R-A-5585048-7"
})
})
</script>
</section>
<section>
<nav class="bottom-nav clr text-center ignore-select">
<ul class="pagination">
<li class="">
<a class="page-link" rel="prev" href="/r/48764?p_=11">« </a>
</li>
<li class="">
<a class="page-link" href="/r/48764?p_=11">11</a>
</li>
<li class="active">
<span class="page-link">12</span>
</li>
<li class="">
<a class="page-link" href="/r/48764?p_=13">13</a>
</li>
<li class="">
<a class="page-link" rel="next" href="/r/48764?p_=13"> »</a>
</li>
</ul>
</nav>
<div class="text-center">
<label for="reader-pagination-page mt-1">
Перейти на страницу
</label>
<select
name="page"
class="js-reader-pagination__page-select"
data-target-path="/r/48764"
>
<option value="1" >1</option>
<option value="2" >2</option>
<option value="3" >3</option>
<option value="4" >4</option>
<option value="5" >5</option>
<option value="6" >6</option>
<option value="7" >7</option>
<option value="8" >8</option>
<option value="9" >9</option>
<option value="10" >10</option>
<option value="11" >11</option>
<option value="12" selected>12</option>
<option value="13" >13</option>
<option value="14" >14</option>
<option value="15" >15</option>
<option value="16" >16</option>
<option value="17" >17</option>
<option value="18" >18</option>
<option value="19" >19</option>
<option value="20" >20</option>
<option value="21" >21</option>
<option value="22" >22</option>
<option value="23" >23</option>
<option value="24" >24</option>
<option value="25" >25</option>
<option value="26" >26</option>
<option value="27" >27</option>
<option value="28" >28</option>
<option value="29" >29</option>
<option value="30" >30</option>
<option value="31" >31</option>
<option value="32" >32</option>
<option value="33" >33</option>
<option value="34" >34</option>
<option value="35" >35</option>
<option value="36" >36</option>
<option value="37" >37</option>
<option value="38" >38</option>
<option value="39" >39</option>
<option value="40" >40</option>
<option value="41" >41</option>
<option value="42" >42</option>
<option value="43" >43</option>
<option value="44" >44</option>
<option value="45" >45</option>
<option value="46" >46</option>
<option value="47" >47</option>
<option value="48" >48</option>
<option value="49" >49</option>
<option value="50" >50</option>
<option value="51" >51</option>
<option value="52" >52</option>
<option value="53" >53</option>
<option value="54" >54</option>
<option value="55" >55</option>
<option value="56" >56</option>
<option value="57" >57</option>
<option value="58" >58</option>
<option value="59" >59</option>
<option value="60" >60</option>
<option value="61" >61</option>
<option value="62" >62</option>
<option value="63" >63</option>
<option value="64" >64</option>
<option value="65" >65</option>
<option value="66" >66</option>
<option value="67" >67</option>
<option value="68" >68</option>
<option value="69" >69</option>
<option value="70" >70</option>
<option value="71" >71</option>
<option value="72" >72</option>
<option value="73" >73</option>
<option value="74" >74</option>
<option value="75" >75</option>
<option value="76" >76</option>
<option value="77" >77</option>
<option value="78" >78</option>
<option value="79" >79</option>
<option value="80" >80</option>
<option value="81" >81</option>
<option value="82" >82</option>
<option value="83" >83</option>
<option value="84" >84</option>
<option value="85" >85</option>
<option value="86" >86</option>
<option value="87" >87</option>
<option value="88" >88</option>
<option value="89" >89</option>
<option value="90" >90</option>
<option value="91" >91</option>
<option value="92" >92</option>
<option value="93" >93</option>
<option value="94" >94</option>
<option value="95" >95</option>
<option value="96" >96</option>
<option value="97" >97</option>
<option value="98" >98</option>
<option value="99" >99</option>
<option value="100" >100</option>
<option value="101" >101</option>
<option value="102" >102</option>
<option value="103" >103</option>
<option value="104" >104</option>
<option value="105" >105</option>
<option value="106" >106</option>
<option value="107" >107</option>
<option value="108" >108</option>
<option value="109" >109</option>
<option value="110" >110</option>
<option value="111" >111</option>
<option value="112" >112</option>
<option value="113" >113</option>
<option value="114" >114</option>
<option value="115" >115</option>
<option value="116" >116</option>
<option value="117" >117</option>
<option value="118" >118</option>
<option value="119" >119</option>
<option value="120" >120</option>
<option value="121" >121</option>
<option value="122" >122</option>
<option value="123" >123</option>
<option value="124" >124</option>
<option value="125" >125</option>
<option value="126" >126</option>
<option value="127" >127</option>
<option value="128" >128</option>
<option value="129" >129</option>
<option value="130" >130</option>
<option value="131" >131</option>
<option value="132" >132</option>
<option value="133" >133</option>
<option value="134" >134</option>
<option value="135" >135</option>
<option value="136" >136</option>
<option value="137" >137</option>
<option value="138" >138</option>
<option value="139" >139</option>
<option value="140" >140</option>
<option value="141" >141</option>
<option value="142" >142</option>
<option value="143" >143</option>
<option value="144" >144</option>
<option value="145" >145</option>
<option value="146" >146</option>
<option value="147" >147</option>
<option value="148" >148</option>
<option value="149" >149</option>
<option value="150" >150</option>
<option value="151" >151</option>
<option value="152" >152</option>
<option value="153" >153</option>
<option value="154" >154</option>
<option value="155" >155</option>
<option value="156" >156</option>
<option value="157" >157</option>
<option value="158" >158</option>
<option value="159" >159</option>
<option value="160" >160</option>
<option value="161" >161</option>
<option value="162" >162</option>
<option value="163" >163</option>
<option value="164" >164</option>
<option value="165" >165</option>
<option value="166" >166</option>
<option value="167" >167</option>
<option value="168" >168</option>
<option value="169" >169</option>
<option value="170" >170</option>
<option value="171" >171</option>
<option value="172" >172</option>
<option value="173" >173</option>
<option value="174" >174</option>
<option value="175" >175</option>
<option value="176" >176</option>
<option value="177" >177</option>
<option value="178" >178</option>
<option value="179" >179</option>
<option value="180" >180</option>
<option value="181" >181</option>
<option value="182" >182</option>
<option value="183" >183</option>
<option value="184" >184</option>
<option value="185" >185</option>
<option value="186" >186</option>
<option value="187" >187</option>
<option value="188" >188</option>
<option value="189" >189</option>
<option value="190" >190</option>
<option value="191" >191</option>
<option value="192" >192</option>
<option value="193" >193</option>
<option value="194" >194</option>
</select>
</div>
</section>
</div>
</main>
</div>
<div class="sect sect-popular sect-related ignore-select">
<div class="sect-header fx-row fx-middle">
<div class="sect-title fx-1">
<i class="fa fa-puzzle-piece"></i>
Книги, похожие на Интернет-разведка. Руководство к действию
</div>
</div>
<div class="sect-content">
<div class="relbooks-block">
<div class="relbook-item">
<a class="top-in img-resp-vert"
href="/b/38166"
>
<div class="top-desc fx-col fx-center anim">
<div class="top-title">Противодействие черному PR в Интернете - Александр Владимирович Кузин, Евгений Леонидович Ющук</div>
<div class="top-subtitle">Интернет</div>
</div>
<img class="book_image lazyload" title="Читать онлайн Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук"
data-src="/uploads/books/images/71/71fbf83ce146254aef5550000a0553a673f13306.jpg"
alt="Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук">
<i class="lazyload-spinner"></i>
</a>
</div>
<div class="relbook-item">
<a class="top-in img-resp-vert"
href="/b/99728"
>
<div class="top-desc fx-col fx-center anim">
<div class="top-title">Эффект стрекозы : Все об улетных промо-кампаниях в социальных сетях - Дженнифер Аакер, Энди Смит</div>
<div class="top-subtitle">Маркетинг, PR, реклама</div>
</div>
<img class="book_image lazyload" title="Читать онлайн Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук"
data-src="/uploads/books/images/04/04d5fa172f21fa97e81bcbb08cd5ba8b57ff2eec.jpg"
alt="Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук">
<i class="lazyload-spinner"></i>
</a>
</div>
<div class="relbook-item">
<a class="top-in img-resp-vert"
href="/b/99830"
>
<div class="top-desc fx-col fx-center anim">
<div class="top-title">Плачущий "Дракон" и проголодавшийся поезд - Георгий Далидович</div>
<div class="top-subtitle">Интернет</div>
</div>
<img class="book_image lazyload" title="Читать онлайн Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук"
data-src="/build/no_cover.f2a76ebc.jpg"
alt="Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук">
<i class="lazyload-spinner"></i>
</a>
</div>
<div class="relbook-item">
<a class="top-in img-resp-vert"
href="/b/100094"
>
<div class="top-desc fx-col fx-center anim">
<div class="top-title">В социальных сетях. Twitter – 140 символов самовыражения - Юлия Игоревна Федотченко, Елена Владимировна Сорокина</div>
<div class="top-subtitle">Интернет</div>
</div>
<img class="book_image lazyload" title="Читать онлайн Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук"
data-src="/uploads/books/images/87/87039723820759be9596bd89a84cccf331ab9e0c.jpg"
alt="Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук">
<i class="lazyload-spinner"></i>
</a>
</div>
<div class="relbook-item">
<a class="top-in img-resp-vert"
href="/b/104074"
>
<div class="top-desc fx-col fx-center anim">
<div class="top-title">Политики безопасности компании при работе в Интернет - Владимир Анатольевич Курбатов, Сергей Александрович Петренко</div>
<div class="top-subtitle">Интернет</div>
</div>
<img class="book_image lazyload" title="Читать онлайн Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук"
data-src="/uploads/books/images/b3/b32beca489111c69967d04ea6b80b566705440cd.jpg"
alt="Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук">
<i class="lazyload-spinner"></i>
</a>
</div>
</div>
</div>
</div>
</article>
</div>
</div>
</div>
</main>
<aside class="sidebar">
<div class="side-box search-wrap">
<form id="quicksearch" method="get" action="/p">
<div class="search-box">
<input id="story"
name="text" minlength="3" placeholder="Поиск по сайту..."
type="text" autocomplete="off">
<button type="submit" class="search-btn"><span class="fa fa-search"></span></button>
</div>
</form>
</div>
<ul class="side-box side-nav to-mob">
<li><a href="/books">Книги</a>
<ul class="subcat">
<li><a href="/c/55">Боевики</a></li>
<li><a href="/c/21">Военное</a></li>
<li><a href="/c/6">Детская литература</a></li>
<li><a href="/c/74">Классика</a></li>
<li><a href="/c/50">ЛитРПГ</a></li>
<li><a href="/c/36">Любовная фантастика</a></li>
<li><a href="/c/4">Любовные романы</a></li>
<li><a href="/c/47">Попаданцы</a></li>
<li><a href="/c/35">Постапокалипсис</a></li>
<li><a href="/c/5">Приключения</a></li>
<li><a href="/c/63">Триллеры</a></li>
<li><a href="/c/1">Фантастика</a></li>
<li><a href="/c/31">Фэнтези</a></li>
</ul>
</li>
</ul>
</aside>
</div>
<footer class="footer">
<div class="footer-in wrap-center">
<div class="footer-one fx-row">
<div class="footer-col footer-col-desc">
<div class="footer-col-title title">
2025 Литфонд | Читать книги онлайн
</div>
</div>
<div class="footer-col">
<div class="footer-col-title title">Контакты</div>
<ul class="footer-col-content">
<li>Для связи и правообладателям: <a href="mailto:libs.pbn@gmail.com">libs.pbn@gmail.com</a>
</li>
</ul>
</div>
</div>
</div>
</footer>
</div>
</div>
<script src="/build/runtime.68aa92de.js" defer></script><script src="/build/site.38e640f9.js" defer></script>
<!-- Yandex.Metrika counter -->
<script type="text/javascript" >
(function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)};
m[i].l=1*new Date();
for (var j = 0; j < document.scripts.length; j++) {if (document.scripts[j].src === r) { return; }}
k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)})
(window, document, "script", "https://cdn.jsdelivr.net/npm/yandex-metrica-watch/tag.js", "ym");
ym(94963560, "init", {
clickmap:true,
trackLinks:true,
accurateTrackBounce:true
});
</script>
<noscript><div><img src="https://mc.yandex.ru/watch/94963560" style="position:absolute; left:-9999px;" alt="" /></div></noscript>
<!-- /Yandex.Metrika counter -->
</body>
</html>
