Плагин для удаления дублей страниц wordpress. Как найти дубликаты страниц на блоге WordPress? Избавимся от дублей страниц

Привет! Известно, что наш любимый неустанно плодит дубли картинок, которые мы добавляем в посты на своем блоге. И в этой статье, я хочу рассказать, как можно удалить эти дубли и запретить их дальнейшее размножение.

А теперь, если посчитать месяцы до сегодняшнего дня, то получается, что прошло 52 месяца. Возьмем, к примеру, что за один месяц WordPress создал 100 дублей, тогда получается, что на моем блоге сейчас около 5200 ненужных картинок.

А у Вас этих дублей может быть в два, или три раза больше, если Вы давно ведете свой блог, и часто пишете статьи. Я давно хотел заняться чисткой картинок на своем блоге, но решил сделать это только сегодня.

Для удаления ненужных изображений, можно применить плагин «DNUI Delete not used », но я бы не советовал им пользоваться. Я вообще не советовал бы пользоваться каким-либо плагином для этих целей.

Некоторые люди удаляли изображения с помощью плагинов, а потом об этом сильно жалели, потому что не делали резервную копию. Плагин просто удалял иногда и нужные картинки.

Удалять картинки лучше вручную, хотя это и нудный процесс, но я Вам покажу, как это сделать быстро.Работу эту надо проделать всего один раз.

Даже, если Вы случайно удалите нужное изображение, то его можно будет быстро восстановить. В конце статьи можно посмотреть видео.

Дубли изображений, можно удалять непосредственно на самом хостинге, или на своем компьютере – это решать Вам. Я бы советовал заниматься этим на компьютере, чтобы картинки можно было удалять массово, а не по одной.

Итак, переходим на свой хостинг, и скачиваем все изображения на компьютер. Нам нужно скачать папку UPLOADS, которая находится по следующему пути: ВАШ_ДОМЕН/wp-content/uploads. Делаем дубликат этой папки, чтобы у нас была резервная копия, а с другой папкой будем работать.

Открываем любую папку с картинками и находим файлы, где указан размер изображения, например, shkola-frilansa-150x150.jpj. Все эти изображения нужно удалить, потому что это – дубли.

Не переживайте, если удалите несколько нужных картинок. Мы ведь сделали резервную копию, помните?

Но, если Вам будет встречаться размер 144x144, то его лучше не удалять, потому что WordPress этот размер использует.

Несколько месяцев назад, я отключил создание дублей в настройках блога, но размер 144x144 все равно создается автоматически, поэтому его лучше не трогать, или попробовать удалить, а потом проверить.

Итак, удалили все файлы, в которых указан размер изображения, а теперь папку UPLOADS, с которой работали, надо закачать обратно на хостинг, и проверить, все ли в порядке, и все ли изображения на месте.

Проверяем блог после удаления дублей изображений на WordPress

Но если вкратце, то этот плагин находит все битые ссылки на блоге. И, если мы удалили нужное изображение, которое WordPress использует, плагин об этом известит.

Переходим «Настройки » > «Проверка ссылок », и в настройках плагина открываем вкладку «Дополнительно ». Внизу жмем кнопку «Перепроверить все страницы » и какое-то время ждем, пока не завершится проверка.

Если после проверки плагин не нашел битых ссылок, значит Вы все сделали правильно, и можно расслабиться, но если битые ссылки будут выявлены, тогда просто загрузите нужные изображения обратно. Например, плагин нашел битую ссылку, тогда нужно будет вернуть на место файл shkola-frilansa-144x144.jpj в папку, которая указана в ссылке.

Посмотрите видео, как легко удалить дубли изображений в WordPress

Доброго времени суток, уважаемые читатели. Как обычно, долго ничего не писал, но это не значит, что я совсем исчез, комментарии читаю, отвечаю. А на этот раз как-то случайно снова столкнулся с проблемой дублей страниц в WordPress, решил её, и заодно решил записать себе здесь шпаргалку, как это делается. Может, и кому-то из вас тоже пригодится.

Начну с предистории. Тема дублей страниц как-то поднималась Борисовым. Тогда он написал на своем блоге, что плагин All in One SEOPack неправильно обрабатывает канонические ссылки, и т.п. Дубли могут образовываться самые разные. Например, если у меня есть страница со ссылкой www..html, то если просто дописать к ней любой мусор, то окажется, что можно попасть и на такую «левую» страницу, например, по ссылке www..html/222

Хотя страница и одна и та же, но ссылки совершенно разные, и ведут как бы на разные страницы — дубликаты. Если будете переходить по ссылкам на этой странице-дубле, то будете попадать на такие же «неправильные» страницы. Бесконечное количество таких ссылок-дубликатов есть даже у главной страницы. А что будет, если на них зайдет поисковый робот и пойдет по ссылкам индексировать все подряд? Проблема будет.

Особо углубляться в это не буду, просто попробуйте дописать так ссылку на своем блоге, и если она сработает, то это знак, что проблема есть. А если нажмете в браузере Ctrl+U, то сможете увидеть код страницы и если в значении canonical тоже окажется прописана эта неправильная ссылка, и надо с этим что-то делать.

В общем, Борисов тогда подробно расписал все детали этой проблемы, наверняка многие читали, а желающие могут почитать. Он предложил радикальный вариант решения проблемы – якобы перейти на плагин Platinum SEO Pack, потому что он правильнее и т.п. Я тоже тогда перешел на этот плагин, думал, и в самом деле будет лучше… Да, такой проблемы со ссылками в нем нет, но зато имеются другие, но об этом я упомяну в конце.

Сегодня же хочу рассказать, как убрать дубли страниц в WordPress, пользуясь при этом плагином All in One. На самом деле все проблемы идут не от самого плагина, а от неправильной его настройки и настройки блога.

Проблема решается в 2 этапа. Начнем по порядку.

Переходим в настройки плагина и ставим галочку вот здесь:

No pagination for Canonical URLs означает, что для страниц цифровые приписки к ссылкам добавляться не будут. Это уже часть решения проблемы, но не все.

В некоторых шаблонах есть на страницах постов ссылки «Предыдущая статья» и «Следующая статья». Они тоже могут вести на дубликаты страниц, если родительская страница сама дубликат. Иногда в настройках премиум-шаблонов эти пункты можно просто отключить. Люди, которые ориентируются в коде, могут найти и удалить вывод этих ссылок. А можно просто перейти в «Редактор», и в файле functions.php своей темы добавить такие строки:

add_filter(‘aioseop_prev_link’, ‘__return_empty_string’);

add_filter(‘aioseop_next_link’, ‘__return_empty_string’);

Добавлять их надо в самом начале этого файла, сразу после

Настройка сервера

Нужно сделать еще одну вещь. Чтобы посетитель, перейдя по ссылке-дубликату, все-равно попадал на правильную страницу-оригинал, нужно добавить пару строк в файл.htaccess. В этом файле можно задать собственные настройки для сервера, и он находится в корне сайта, то есть в папке, где лежат все файлы сайта.

Итак, заходим на хостинг, в менеджер файлов, или подключаемся к хостингу через FTP, находим этот файл. Можно его скачать себе на компьютер и открыть блокнотом – лучше использовать блокнот Notepad++, потому что он правильно работает с разными кодировками, и ничего не портит, в отличие от стандартного блокнота.

В файле htaccess надо добавить 2 строчки. Но они зависят от того, как у Вас настроены ссылки страниц.

RewriteRule (.*)\.html\/(+)$ $1.html

RewriteRule ^index\.php$ — [L]

RewriteCond %{REQUEST_URI} !(/page*)

RewriteRule (.*)\/(+) $1

После этого отредактированный файл htaccess нужно вернуть на прежнее место, если его скачивали на компьютер, или просто сохранить изменения, если редактировали его прямо на сервере.

На этом все, больше никакие ссылки с цифровыми приписками работать не будут – посетители автоматически будут попадать только на правильные страницы. Также и поисковый робот не сможет перейти по ссылкам-дубликатам. Конечно, если поисковик уже проиндексировал гору мусора, то постепенно он его выбросит из индекса, но в итоге останутся только реально существующие страницы, что и требуется.

О плагинах Platinum и All in One

Перейти на плагин Platinum труда не составляет – он просто импортирует себе все настройки из All in One. и прописанные у страниц Title, Description и Keyword остаются на месте. Но у этого плагина есть два очень существенных недостатка:

Title правильно отображается в редакторе, а вот на сайте или блоге на многих страницах он куда-то исчезает. Попросту говоря – не отображается. Релевантность резко падает, а с ней и позиции, и посещаемость…

Platinum уже несколько лет не обновлялся. Он писался для WordPress версии, кажется, 2.7. Сейчас есть версия WordPress 4.4, пока плагин на ней работает, но что будет дальше, никто не знает. Перестанет работать после обновления движка, и что делать с титлами и описаниями сотен, а у некоторых и тысяч страниц? Ставить другой плагин и снова все вписывать — адский труд…

В общем, я тоже обнаружил, что на многих страницах Title не выводится, хотя я его вписывал, и это мне надоело. А тут, как назло, Борисов же сказал, что назад с Platinum на All in One настройки не переносятся… Переписывать каждую страницу не хотелось…

Но, оказывается, есть решение простое и красивое. Если у Вас стоит плагин Platinum, а Вы хотите перенести все в All in One, то сначала включите оба.

Потом ставите плагин SEO Data Transporter, как обычно, из админки – он есть в библиотеке. После активации в админке, в меню «Инструменты» появится пункт SEO Data Transport. Идете туда, и видите такую простую панельку:

Здесь все элементарно. В левом списке выбираете плагин, из которого надо переносить данные, а в правом списке – куда переносить. Ставите, как на скриншоте, и нажимаете кнопку Analyze. Плагин смотрит, что там можно перенести и если все хорошо, можно нажать кнопку Convert, хотя я сразу ее нажал.

Чудесным образом все титлы и описания переносятся из Platinum в All in One, а потом Platinum можно просто отключить. Так же можно отключить и плагин SEO Data Transporter – он свою работу сделал.

Вот и все. Хотя здесь у меня много букв и все кажется сложным, на самом деле убрать дубли в WordPress – дело пары минут. Еще проще происходит и переезд назад на плагин All in One. Я на этом блоге сделал все минут за 5, потому что смотрел в инструкцию. На другом блоге все заняло еще меньше.

А общая мораль сей басни — меньше надо слушать всяких гуру, чтобы потом не пришлось откатывать все назад, а это время, нервы, а иногда и деньги. Больше я никого не слушаю)

» я рассказывал, что такое дубли и как их можно найти. В этой статье я хотел бы осветить тему того, как можно убрать дубли с Вашего сайта, воспользовавшись рядом плагинов или обычным кодом. Сразу хотелось бы сказать, что индексацией дублей в основном страдает поисковая система (ПС) Google, даже не смотря на то, что они запрещены в файле robots.txt . ПС Яндекс работает по своему алгоритму и меньше воспринимает подобный контент. Итак, приступим.

Дубли ответов на комментарии — replytocom

Самые распространенные дубли в WordPress — это так называемый replytocom , который появляется, когда на сайте включены древовидные комментарии. Если приглядеться на ссылку «Ответить на комментарий», то можно проследить наличие данного вида дублей. С одной стороны это удобно, ведь пользователь может ответить на чей либо комментарий и видеть структуру ответов. С другой стороны это очень пакостная вещь, поскольку replytocom порождает ни один, а как правило несколько дублей. К примеру, на Вашем сайте есть 500 комментариев, значит имеется как минимум 500 дублей.

Для того, чтобы убедиться в наличие дублей replytocom , можно перейти по следующему URL адресу: http://sitename.ru/название_поста?replytocom=какое_то_число. Теперь в адресной строке можно наблюдать что то подобное этому: http://sitename.ru/название_поста/#comment=какое_то_число.

Кроме того, в WordPress существуют еще ряд дублей, к которым относятся:

• feed;
• page;
• comment-page;
• attachment;
• attachment_id;
• category;
• trackback.

Каждый вид дублей соответствует техническим возможностям движка. Проверить их можно при помощи оператора site , о котором написано в .

Убираем дубли при помощи плагинов

На моей практике, мне приходилось пользоваться 3-я видами плагинов, которые помогают избавиться от дублей в WordPress.:

• All in One Seo Pack . После установки в разделе Общие настройки нужно поставить галочку Канонические Url .

• Yoast Seo . В настройках плагина ставим галочку Убрать replytocom ;
• Ark hidecommentslinks . Данный плагин позволяет закрыть ссылки на сайты комментаторов, а также убрать replytocom из ссылки ответа на комментарий. Не имеет настроек.

Убираем дубли при помощи кода

Чтобы убрать дубли при помощи кода нужно отредактировать 3 файла — robots.txt , .htaccess и functions.php . Для тех кто не знает, первые два файла находятся в корне сайта, а третий файл лежит в папке с активной темой.

В статье « » я писал о том, как его правильно настроить. Некоторые же оптимизаторы советуют изменить содержимое robots.txt на следующее:

User-agent: * Host: sitename.ru Disallow: /wp-feed Disallow: /wp-includes Disallow: /wp-content/cache Disallow: /wp-content/plugins Disallow: /wp-content/themes Sitemap: http://sitename.ru/sitemap.xml User-agent: YandexImages Allow: /wp-content/uploads/ User-agent: Googlebot-Image Allow: /wp-content/uploads/

Вместо sitename.ru должен быть прописан домен Вашего сайта.

На следующем шаге открываем файл.htaccess и после строки RewriteRule ^index\.php$ - [L] добавляем следующий код:

RewriteCond %{QUERY_STRING} ^replytocom= RewriteRule (.*) $1? RewriteRule (.+)/feed /$1 RewriteRule (.+)/attachment /$1 RewriteRule (.+)/comment-page /$1 RewriteRule (.+)/comments /$1 RewriteRule (.+)/trackback /$1 RewriteCond %{QUERY_STRING} ^attachment_id= RewriteRule (.*) $1?

Теперь, что еще осталось сделать, это добавить следующий код в файл functions.php:

Function add_meta_noindex_nofollow () { if (is_paged()) { echo "".""."\n"; } } add_action("wp_head", "add_meta_noindex_nofollow", 3);

Код вешаем на хук wp_head , и теперь на страницах с пагинацией будет выводиться meta-тег, запрещающий их индексацию.

От автора: дубли страниц – одна из самых распространенных технических проблем, которая может ухудшить позиции сайта в поиске. Как с ней разобраться? Невозможно в одной статье рассказать о всех видах дублей на всех движках, давайте сосредоточимся на чем-то одном. Например, на cms WordPress, так как это самый популярный движок. Как убрать дубли страниц в wordpress? Давайте рассмотрим самые основные.

Самое большое зло WordPress

В этом движке есть один вид дублей, который особенно опасен и от него в свое время страдали очень многие сайты. Это так называемый replytocom. Появится он только в том случае, если включить в настройках обсуждения древовидные комментарии. Таким образом, появится возможность ответить на комментарий какого-то человека. Это очень удобно, если только не одно но.

Если присмотреться к url-адресу на кнопке “Ответить”, то можно найти там тот самый злосчастный отросток – replytocom. Ну и что? А то, что чем больше комментариев теперь у вас будет на странице, тем больше дублей. Причем 1 новый комментарий породит не 1 дубль, а много.

Все это происходит потому, что к странице теперь можно будет обратиться не только так: http://site.ru/название-записи

Но и так: http://site.ru/название-записи?replytocom=…

Таким образом, если к статье оставили 100 комментариев, то появится как минимум 100 дублей, но на самом деле гораздо больше. Я часто анализирую различные сайты с помощью специальных сервисов вроде pr-cy. Так вот, там можно наблюдать историю количества проиндексированных страниц.

Так вот, в 2012-13 годах, когда решение проблемы знали немногие, у многих сайтов было 100 тысяч – 10 миллионов страниц в индексе! Сейчас их в тысячи раз меньше, хотя с тех пор на сайтах появилось намного больше контента.

Как раз все эти тысячи и даже миллионы дублей в основном были из-за дублей replytocom. Когда же владельцы сайтов узнали о проблеме и о ее решении, они избавились от дублей и со временем из поисковой выдаче исчезли сотни миллионов мусорных страниц!

Лечение или как избавиться от replytocom

Вариантов тут есть несколько. Во-первых, можно установить плагин Yoast SEO, который используют тысячи веб-мастеров для поисковой оптммизации своих записей. Если хорошенько покопаться в его настройках, то можно найти там пункт “Убрать replytocom”. Ставим галочку и спим спокойно.

Во-вторых, можно просто не включать древовидные комментарии, если вы в них не нуждаетесь. Конечно, будет не так удобно, но это самый простой способ никогда не сталкиваться с этими дублями.

В-третьих, поставить какой-то другой плагин. В частности, не так давно нашел плагин Ark hidecommentslinks, который делает сразу 2 полезных дела: заменяет ссылки в комментариях на кликабельный текст, а заодно и убирает replytocom. Но плагин приведен только в пример, потому что я уверен, что это не единственное расширение, которое справляется с этой проблемой.

Четвертый способ более сложен – замена кнопки ответить. Эта кнопка должна выводиться не стандартными средствами wordpress, а с помощью скрипта. Обычно эту работу делает программист, либо вы можете найти готовое решение в каком-нибудь шаблоне, где стоит самописная система комментариев.

Думаю, этих способов вам хватит, тут еще нужно сказать о том, что чем раньше вы сделаете что-либо для устранения дублей, тем лучше. Самое главное, чтобы ваши статьи не были доступны по такому адресу: http://site.ru/название-записи?replytocom=какое-то число

Потому что если они недоступны (вылазит 404 ошибка) то со временем все дубли, если они уже попали в выдачу, пропадут. Если они еще не успели попасть в выдачу, то еще лучше.

Простой способ проверить дубли

Самый простой способ – воспользоваться сервисом, который покажет вам, сколько страниц вашего сайта проиндексировано поисковиком. Для этой цели я использую pr-cy.ru/analysis, так как уже очень привык к нему.

В WordPress на главной странице вы можете видеть, сколько на вашем блоге на данный момент записей, а также сколько страниц. Вот вы и можете примерно прикинуть, сколько страниц должно быть в индексе. Вводим адрес своего сайта в сервис для проверки этих показателей.

Там вы увидите данные для Яндекса и Гугла. Если они примерно отвечают вашим подсчетам и отличаются незначительно, значит, на данный момент все в порядке. Если же вы видите существенную разницу между количеством страниц в Индексе поисковиков, либо в обоих поисковиках это количество сильно превышает кол-во реальных записей, нужно начинать бить тревогу и принимать меры по борьбе с дублями.

Дубли на страницах рубрик

На странице рубрики обычно содержится анонс статьи и кнопка на нее полное прочтения. Так вот, хотя это и не полный дубль, но все же какая-то часть текста может совпадать на обеих страницах (300-600 символов). Таким образом, вы сами у себя понижаете уникальность. Чтобы этого не допустить, желательно закрывать текст в анонсах в теги noindex.

Хорошо, но из-за этого страницы рубрик вообще могут не проиндексироваться? Если вы хотите все-таки их индексировать, рекомендую добавить для каждой рубрики ее уникальное описание в 150-250 символов и выводить его в шаблоне рубрик – category.php.

Дубли в архивах

По умолчанию в wordpress есть архивы по дате и архивы по автору. На этих страницах также выводится описание статей, а еще одинаковые title. Если вы в них не нуждаетесь, можно просто отключить. Это можно сделать с помощью seo-плагина. Например, Yoast SEO.

Дубль на уровне домена

По умолчанию при создании сайта он доступен по двум адресам: site.ru и www.site.ru. По сути, для поисковой системе это 2 разных сайта. Чтобы контент не дублировался, нужно явно указать главное зеркало. Это можно сделать с помощью файла robots.txt, прописав в нем следующее.

Table of Contents

Что такое дубли страниц?

Очень часто владельцы wordpress сайтов начинают беспокоиться, если не понимают из-за чего отдельные страницы проваливаются в выдаче. Причиной тому могут быть дубли страниц. Это страницы, содержащие материалы с идентичным или похожим контентом. Речь о страницах архивов дат, рубрик, авторов и комментариев. При этом они могут располагаться под разными адресами, что позволяет дублям конкурировать с основной статьей за место в поисковой выдаче. В этом материале мы расскажем как избавиться от дублей страниц.

Создание дублей страниц на сайте

Как мы уже рассказывали ранее, дубли одной конкретной страницы, где размещена одна конкретная статья создаются и в архивах дат, и в рубриках или категориях (могут называться по-разному), а также на страницах с комментариями. Благодаря этому пользователи могут сортировать посты и находить по определенным критериям нужные. Система делает это автоматически.

Давайте посмотрим как это выглядит на примере архива дат. Предположим нам нужно выбрать все статьи за ноябрь. На главной странице сайта кликните на ссылку в виджете с указанием месяца.

Дубли в комментариях

При работе с комментариями вебмастерам следует учитывать, что как таковые, дубли страниц создаются при наличии древовидной системы обсуждения. В том числе если обсуждений очень много и комментариям не хватает места на одной странице, то часть их перемещается на следующие. И в этом случае вам необходимо удалить дубли страниц в wordpress, иначе проиндексированные страницы станут своеобразной ловушкой для пользователей. Они просто попадут на страницу комментариев статьи, а не на саму статью, после чего посетители, скорее всего покинут сайт. SEO-продвижение явно пострадает от большого количества отказов.

Как удалить дубли с помощью плагина WordPress

Чтобы не разбираться с провалами в поисковой выдаче, лучше заранее провести профилактическую работу. А именно удалить дубли страниц в wordpress. Мы предлагаем вам воспользоваться плагином оптимизации сайтов . В его арсенале большой спектр полезных функций для удаления дублей страниц. Скачайте данное приложение и установите, так мы сможем рассказать о всех фичах более предметно.

После активации перейдите в меню настроек плагина: «Настройки» => «Clearfy меню» =>

Начнем по порядку, с удаления архивов дат. Здесь стоит сразу уточнить, что удалять дубли в буквальном смысле мы не будем. Их просто отключат от индексирования. И это важнее, чем избавиться фактически от копий страниц. Если дубликаты не видит поисковик, значит пользователь перейдет на основную, нужную вам для продвижения страницу и не заблудится в многообразии ссылок-клонов. Чтобы запустить функцию нажмите кнопку ВКЛ.

Чтобы удалить метки архивов, нужно поставить редирект со страниц тегов на главную. Для этого активируйте функцию ниже. Аналогично предыдущим. Обратите внимание на серую метку со знаком вопроса. Она указывает на то, что негативных последствий настройка не вызовет.

Для каждой фотографии или видео wordpress создает отдельную «страницу вложений» с возможностью комментирования, что является своеобразным якорем оптимизации. Подробней об этом мы говорили в предыдущей . Нажимаем кнопку ВКЛ.

Если у вас на сайте пагинация настроена таким образом, что контент размещается сразу на нескольких страницах, то в конце URL, в том или ином виде, будет добавляться порядковый номер каждой страницы. Clearfy же, предложит вам удалить постраничную навигацию записей. То есть каждая страница одной статьи будет редиректиться на основную. Нажмите кнопку ВКЛ.

Если у вас настроены древовидные комментарии, то их иерархия создаст благоприятные условия для создания копий страниц. Выглядит это так: вы отвечаете на чей-то комментарий и одновременно в URL появляется переменная?replytocom – это значит, что поисковик видит в этом не ответ на комментарий, а отдельную страницу, так как адрсе отличается. Удалить дубли страниц в wordpress и выполнить редирект вы можете активировав данную функцию.

Заключение

Время и силы, затраченные на продвижение сайта или отдельных статей могут уйти впустую. Если не позаботиться об удалении дублей страниц заранее. Они индексируются поисковиком и могут составить конкуренцию основным статьям. После прочтения данной статьи мы надеемся, что вы оценили весь спектр представленных функций и теперь вам будет несложно удалить дубли страниц в wordpress.