Интернет-разведка. Руководство к действию | страница 12



Тогда же был введен в обиход интернетчиков термин «краулер» или «паук», который применяется, как мы уже говорили, и по сей день.

Ну а далее ситуация развивалась еще более стремительно. Крис Шерман и Гари Прайс приводят такую хронологию возникновения и развития современных поисковых машин.

1994 г. – WebCrawler, Lycos, Yahoo!

1995 г. – Infoseek, SavvySearch, AltaVista, MetCrawler, Excite. Появление метапоисковых машин.

1996 г. – HotBot, LookSmart.

1997 г. – NorthernLight.

1998 г. – Google, InvisibleWeb.com.

1999 г. – FAST.

2000 г. и далее – Сотни новых поисковых машин.

Русскоязычные поисковые машины появлялись в такой последовательности:

1996 г. – Rambler (www.rambler.ru);

1997 г. – Yandex (www.yandex.ru);

2004 г. – русскоязычная версия Google (www.google.ru) и русскоязычная версия Yahoo! (http://ru.yahoo.com).

Из чего состоит сайт

Прежде, чем перейти к описанию языка запросов поисковых машин, рассмотрим, из каких элементов, с которыми предстоит работать пауку, состоит обычно сайт.

Надо сказать, что язык HTML достаточно прост и логичен. Он представляет собой способ разбивки текста с помощью специальных элементов – тегов, которые определяют структуру и внешний вид текста при просмотре его в браузере. О тегах следует знать, что они всегда парные и что они бывают открывающими (обозначают начало определенного форматирования) и закрывающими (обозначают его окончание). Закрывающий тег – такой же по написанию, как открывающий, но перед ним стоит косая черта.

Приведем пример очень простого сайта (рис. 1).



Рис. 1. Пример сайта, как его видно в браузере Мозилла Файрфокс.


Наверху страницы, изображенной на рисунке, то есть не в тексте сайта, а на верхнем поле рамки страницы, рядом с круглым значком браузера, расположена надпись: «Показываем устройство сайта». Она находится в так называемом заголовке страницы (который заключен между открывающим тегом и закрывающим тегом ). Обращаем ваше внимание на то, что это заголовок именно всей страницы, а не текста.

Посередине представленного рисунка жирным курсивом выведено: «Это простой сайт». Данная надпись – и есть заголовок текста. Шрифт фразы «Это простой сайт» по размеру превосходит шрифт текста на сайте, он специально выделен как заголовок текста. При разметке с помощью HTML этот текст расположен ниже тега , но при этом вместе с тегом <TITLE> находится внутри тега <Head>. То есть содержимое, заключенное в <TITLE>, – это часть того, что находится в <Head>. Такое расположение дает дополнительную возможность пауку лучше определять ключевые слова на сайте. Ведь если слова вынесены в заголовок текста или, тем более, всей страницы, вероятность того, что страница и текст посвящены теме, формулируемой этими словами, повышается.</p></div></div> <!-- Yandex.RTB R-A-5585048-7 --> <div id="yandex_rtb_R-A-5585048-7" class="rkl"><div class="rasporka"></div></div> <script> window.yaContextCb.push(()=>{ Ya.Context.AdvManager.render({ "blockId": "R-A-5585048-7", "renderTo": "yandex_rtb_R-A-5585048-7" }) }) </script> </section> <section> <nav class="bottom-nav clr text-center ignore-select"> <ul class="pagination"> <li class=""> <a class="page-link" rel="prev" href="/r/48764?p_=11">« </a> </li> <li class=""> <a class="page-link" href="/r/48764?p_=11">11</a> </li> <li class="active"> <span class="page-link">12</span> </li> <li class=""> <a class="page-link" href="/r/48764?p_=13">13</a> </li> <li class=""> <a class="page-link" rel="next" href="/r/48764?p_=13"> »</a> </li> </ul> </nav> <div class="text-center"> <label for="reader-pagination-page mt-1"> Перейти на страницу </label> <select name="page" class="js-reader-pagination__page-select" data-target-path="/r/48764" > <option value="1" >1</option> <option value="2" >2</option> <option value="3" >3</option> <option value="4" >4</option> <option value="5" >5</option> <option value="6" >6</option> <option value="7" >7</option> <option value="8" >8</option> <option value="9" >9</option> <option value="10" >10</option> <option value="11" >11</option> <option value="12" selected>12</option> <option value="13" >13</option> <option value="14" >14</option> <option value="15" >15</option> <option value="16" >16</option> <option value="17" >17</option> <option value="18" >18</option> <option value="19" >19</option> <option value="20" >20</option> <option value="21" >21</option> <option value="22" >22</option> <option value="23" >23</option> <option value="24" >24</option> <option value="25" >25</option> <option value="26" >26</option> <option value="27" >27</option> <option value="28" >28</option> <option value="29" >29</option> <option value="30" >30</option> <option value="31" >31</option> <option value="32" >32</option> <option value="33" >33</option> <option value="34" >34</option> <option value="35" >35</option> <option value="36" >36</option> <option value="37" >37</option> <option value="38" >38</option> <option value="39" >39</option> <option value="40" >40</option> <option value="41" >41</option> <option value="42" >42</option> <option value="43" >43</option> <option value="44" >44</option> <option value="45" >45</option> <option value="46" >46</option> <option value="47" >47</option> <option value="48" >48</option> <option value="49" >49</option> <option value="50" >50</option> <option value="51" >51</option> <option value="52" >52</option> <option value="53" >53</option> <option value="54" >54</option> <option value="55" >55</option> <option value="56" >56</option> <option value="57" >57</option> <option value="58" >58</option> <option value="59" >59</option> <option value="60" >60</option> <option value="61" >61</option> <option value="62" >62</option> <option value="63" >63</option> <option value="64" >64</option> <option value="65" >65</option> <option value="66" >66</option> <option value="67" >67</option> <option value="68" >68</option> <option value="69" >69</option> <option value="70" >70</option> <option value="71" >71</option> <option value="72" >72</option> <option value="73" >73</option> <option value="74" >74</option> <option value="75" >75</option> <option value="76" >76</option> <option value="77" >77</option> <option value="78" >78</option> <option value="79" >79</option> <option value="80" >80</option> <option value="81" >81</option> <option value="82" >82</option> <option value="83" >83</option> <option value="84" >84</option> <option value="85" >85</option> <option value="86" >86</option> <option value="87" >87</option> <option value="88" >88</option> <option value="89" >89</option> <option value="90" >90</option> <option value="91" >91</option> <option value="92" >92</option> <option value="93" >93</option> <option value="94" >94</option> <option value="95" >95</option> <option value="96" >96</option> <option value="97" >97</option> <option value="98" >98</option> <option value="99" >99</option> <option value="100" >100</option> <option value="101" >101</option> <option value="102" >102</option> <option value="103" >103</option> <option value="104" >104</option> <option value="105" >105</option> <option value="106" >106</option> <option value="107" >107</option> <option value="108" >108</option> <option value="109" >109</option> <option value="110" >110</option> <option value="111" >111</option> <option value="112" >112</option> <option value="113" >113</option> <option value="114" >114</option> <option value="115" >115</option> <option value="116" >116</option> <option value="117" >117</option> <option value="118" >118</option> <option value="119" >119</option> <option value="120" >120</option> <option value="121" >121</option> <option value="122" >122</option> <option value="123" >123</option> <option value="124" >124</option> <option value="125" >125</option> <option value="126" >126</option> <option value="127" >127</option> <option value="128" >128</option> <option value="129" >129</option> <option value="130" >130</option> <option value="131" >131</option> <option value="132" >132</option> <option value="133" >133</option> <option value="134" >134</option> <option value="135" >135</option> <option value="136" >136</option> <option value="137" >137</option> <option value="138" >138</option> <option value="139" >139</option> <option value="140" >140</option> <option value="141" >141</option> <option value="142" >142</option> <option value="143" >143</option> <option value="144" >144</option> <option value="145" >145</option> <option value="146" >146</option> <option value="147" >147</option> <option value="148" >148</option> <option value="149" >149</option> <option value="150" >150</option> <option value="151" >151</option> <option value="152" >152</option> <option value="153" >153</option> <option value="154" >154</option> <option value="155" >155</option> <option value="156" >156</option> <option value="157" >157</option> <option value="158" >158</option> <option value="159" >159</option> <option value="160" >160</option> <option value="161" >161</option> <option value="162" >162</option> <option value="163" >163</option> <option value="164" >164</option> <option value="165" >165</option> <option value="166" >166</option> <option value="167" >167</option> <option value="168" >168</option> <option value="169" >169</option> <option value="170" >170</option> <option value="171" >171</option> <option value="172" >172</option> <option value="173" >173</option> <option value="174" >174</option> <option value="175" >175</option> <option value="176" >176</option> <option value="177" >177</option> <option value="178" >178</option> <option value="179" >179</option> <option value="180" >180</option> <option value="181" >181</option> <option value="182" >182</option> <option value="183" >183</option> <option value="184" >184</option> <option value="185" >185</option> <option value="186" >186</option> <option value="187" >187</option> <option value="188" >188</option> <option value="189" >189</option> <option value="190" >190</option> <option value="191" >191</option> <option value="192" >192</option> <option value="193" >193</option> <option value="194" >194</option> </select> </div> </section> </div> </main> </div> <div class="sect sect-popular sect-related ignore-select"> <div class="sect-header fx-row fx-middle"> <div class="sect-title fx-1"> <i class="fa fa-puzzle-piece"></i> Книги, похожие на Интернет-разведка. Руководство к действию </div> </div> <div class="sect-content"> <div class="relbooks-block"> <div class="relbook-item"> <a class="top-in img-resp-vert" href="/b/38166" > <div class="top-desc fx-col fx-center anim"> <div class="top-title">Противодействие черному PR в Интернете - Александр Владимирович Кузин, Евгений Леонидович Ющук</div> <div class="top-subtitle">Интернет</div> </div> <img class="book_image lazyload" title="Читать онлайн Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук" data-src="/uploads/books/images/71/71fbf83ce146254aef5550000a0553a673f13306.jpg" alt="Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук"> <i class="lazyload-spinner"></i> </a> </div> <div class="relbook-item"> <a class="top-in img-resp-vert" href="/b/99728" > <div class="top-desc fx-col fx-center anim"> <div class="top-title">Эффект стрекозы : Все об улетных промо-кампаниях в социальных сетях - Дженнифер Аакер, Энди Смит</div> <div class="top-subtitle">Маркетинг, PR, реклама</div> </div> <img class="book_image lazyload" title="Читать онлайн Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук" data-src="/uploads/books/images/04/04d5fa172f21fa97e81bcbb08cd5ba8b57ff2eec.jpg" alt="Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук"> <i class="lazyload-spinner"></i> </a> </div> <div class="relbook-item"> <a class="top-in img-resp-vert" href="/b/99830" > <div class="top-desc fx-col fx-center anim"> <div class="top-title">Плачущий "Дракон" и проголодавшийся поезд - Георгий Далидович</div> <div class="top-subtitle">Интернет</div> </div> <img class="book_image lazyload" title="Читать онлайн Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук" data-src="/build/no_cover.f2a76ebc.jpg" alt="Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук"> <i class="lazyload-spinner"></i> </a> </div> <div class="relbook-item"> <a class="top-in img-resp-vert" href="/b/100094" > <div class="top-desc fx-col fx-center anim"> <div class="top-title">В социальных сетях. Twitter – 140 символов самовыражения - Юлия Игоревна Федотченко, Елена Владимировна Сорокина</div> <div class="top-subtitle">Интернет</div> </div> <img class="book_image lazyload" title="Читать онлайн Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук" data-src="/uploads/books/images/87/87039723820759be9596bd89a84cccf331ab9e0c.jpg" alt="Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук"> <i class="lazyload-spinner"></i> </a> </div> <div class="relbook-item"> <a class="top-in img-resp-vert" href="/b/104074" > <div class="top-desc fx-col fx-center anim"> <div class="top-title">Политики безопасности компании при работе в Интернет - Владимир Анатольевич Курбатов, Сергей Александрович Петренко</div> <div class="top-subtitle">Интернет</div> </div> <img class="book_image lazyload" title="Читать онлайн Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук" data-src="/uploads/books/images/b3/b32beca489111c69967d04ea6b80b566705440cd.jpg" alt="Интернет-разведка. Руководство к действию - Евгений Леонидович Ющук"> <i class="lazyload-spinner"></i> </a> </div> </div> </div> </div> </article> </div> </div> </div> </main> <aside class="sidebar"> <div class="side-box search-wrap"> <form id="quicksearch" method="get" action="/p"> <div class="search-box"> <input id="story" name="text" minlength="3" placeholder="Поиск по сайту..." type="text" autocomplete="off"> <button type="submit" class="search-btn"><span class="fa fa-search"></span></button> </div> </form> </div> <ul class="side-box side-nav to-mob"> <li><a href="/books">Книги</a> <ul class="subcat"> <li><a href="/c/55">Боевики</a></li> <li><a href="/c/21">Военное</a></li> <li><a href="/c/6">Детская литература</a></li> <li><a href="/c/74">Классика</a></li> <li><a href="/c/50">ЛитРПГ</a></li> <li><a href="/c/36">Любовная фантастика</a></li> <li><a href="/c/4">Любовные романы</a></li> <li><a href="/c/47">Попаданцы</a></li> <li><a href="/c/35">Постапокалипсис</a></li> <li><a href="/c/5">Приключения</a></li> <li><a href="/c/63">Триллеры</a></li> <li><a href="/c/1">Фантастика</a></li> <li><a href="/c/31">Фэнтези</a></li> </ul> </li> </ul> </aside> </div> <footer class="footer"> <div class="footer-in wrap-center"> <div class="footer-one fx-row"> <div class="footer-col footer-col-desc"> <div class="footer-col-title title"> 2025 Литфонд | Читать книги онлайн </div> </div> <div class="footer-col"> <div class="footer-col-title title">Контакты</div> <ul class="footer-col-content"> <li>Для связи и правообладателям: <a href="mailto:libs.pbn@gmail.com">libs.pbn@gmail.com</a> </li> </ul> </div> </div> </div> </footer> </div> </div> <script src="/build/runtime.68aa92de.js" defer></script><script src="/build/site.38e640f9.js" defer></script> <!-- Yandex.Metrika counter --> <script type="text/javascript" > (function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)}; m[i].l=1*new Date(); for (var j = 0; j < document.scripts.length; j++) {if (document.scripts[j].src === r) { return; }} k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)}) (window, document, "script", "https://cdn.jsdelivr.net/npm/yandex-metrica-watch/tag.js", "ym"); ym(94963560, "init", { clickmap:true, trackLinks:true, accurateTrackBounce:true }); </script> <noscript><div><img src="https://mc.yandex.ru/watch/94963560" style="position:absolute; left:-9999px;" alt="" /></div></noscript> <!-- /Yandex.Metrika counter --> </body> </html>