Предлагаю скачать программу для сравнения текстов Shingles Expert. Программа предназначена для сравнения текстов или статей методом шинглов (Shingles). Есть мнение, что на основе этого метода или более грубого (супершинглы) поисковики оценивают уникальность контента. Программа бесплатная, без ограничений.
По сравнению с известным аналогом у моей программы есть важные преимущества:
- Эмуляция лемматизации (нормализации) текста. По специальному алгоритму отбрасываются окончания слов, чтобы отсечь изменения слов при склонении, спряжении и т.п. Качество определения схожести увеличивается до десятков процентов (обычно точнее на 5-15%). За счет грубости метода могут быть некоторые неточности, но только в сторону повышения строгости проверки.
- Отбрасывание стоп-слов. Метод снижает нагрузку при расчете сравнения, отбрасывая распространенные союзы, предлоги. Позволяет обойти некоторые простейшие синонимичные изменения. При небольшом объеме текста – процент совпадений снижается, т.к. отбрасывается зачастую схожая часть текста. Опционально, т.к. не совсем ясно, в плюс оно ли нет.
Вот, собственно, и все.
�?стория версий:
- Shingles Expert v.1.0 – 01 марта 2008;
- Shingles Expert v.1.1 – 25 марта 2009 (текущая версия программы);
Март 1st, 2008 в 12:53 пп
Отличная прога. Спасибо.
Март 1st, 2008 в 1:12 пп
Спасибо, щас поглядим-с.
Март 1st, 2008 в 4:25 пп
Хоро�?ая вещь, спасибо.
Реквестую Ctrl+A.
Март 1st, 2008 в 5:38 пп
Как раз назрела необходимость в боль�?ом количестве текстов определенной тематики…
Теперь ОРФО 9.0 и Shingles Expert – мои основные инструменты
Март 1st, 2008 в 6:22 пп
вообще хоро�?ая �?тучка…
спасибо… вот только ре�?ил найти чтото подобное, чтобы свой синонимайзер потестить – и тут сразу на твой топик наткнулся
Да и результаты меня порадовали – 4% это хоро�?ая цифра
вот только одно плохо – когда я в него загнал файлик на мегабайт програмка вывалилась с о�?ибкой…
в смысле при сравнении вывалилась а не при заливке
Март 1st, 2008 в 6:29 пп
Да, насколько я помню, у мемы было ограничение в 32 тыс строк.. но сравнивать два войны и мира – это, конечно, занятие для гурмана
Март 1st, 2008 в 6:45 пп
На всякий случай скачаем, а вам спасибо
Март 1st, 2008 в 9:54 пп
Для сравнения статей самое то) thx
Март 3rd, 2008 в 9:17 пп
Скачаю, спасибо!
Март 4th, 2008 в 1:07 дп
�?звиняюсь за оффтоп, не давно заказывал копирайт одной статьи и размножение до 300 статей. Сейчас попробовал сравнить статьи ва�?ей прогой результаты от 0% до 4%. Скажите насколько стоит доверать ва�?ей программе? ( А то я последнее время параноюсь по поводу уникальности размещаемых статей и даже сам начинаю писать по десять �?тук статей судорожно для того чтобы они были уникальны)
Март 4th, 2008 в 8:09 дп
0-4% это очень хоро�?ие показатели
Март 6th, 2008 в 1:48 дп
Клёвая прога
давно искал такую
спасибо
Март 6th, 2008 в 6:42 пп
полезная програма!очень помагает студентам1
Март 6th, 2008 в 8:36 пп
Отличная прога, я давно хотел такую, только найти не мог, огромное сенкс автору!!!
Март 7th, 2008 в 11:22 пп
Прога то супер, а можно к ней табличку вывесить вида:
0-5% супер текст, 10-20 очень плохо. Сложно ориентироваться.
Март 8th, 2008 в 9:29 дп
по отзывам вроде совсем неплохо,сейчас оценю,спасибо за бесплатность)
Март 10th, 2008 в 4:51 пп
Что у вас с Бегуном на сайте? Подправьте кодировку ^^
Март 10th, 2008 в 5:43 пп
А что с ним? – под FF все ок. Под оперой тоже. Под IE объявлений что-то не вижу, но и проблем с кодировкой, соответственно, тоже.
Март 11th, 2008 в 4:54 пп
О! Ура! Вот и на�?лось то что искалось! Спасибо боль�?ое, просто выручили. А то уже расстроиться успела
Март 23rd, 2008 в 3:20 пп
Ее, надеюсь, инсталлировать не надо, portable?!
Март 24th, 2008 в 11:29 пп
Я даже не задумывался! спасибо за информацию!
Март 30th, 2008 в 7:11 пп
Классная программа. Прорерайтила свой первый текст. Результат: 47%. Научиться бы доводить до нуля.
Март 31st, 2008 в 8:18 дп
прога супер, спасибо
Апрель 6th, 2008 в 8:29 пп
оо отлично.спасибо.мне как раз надо проверить текс дипломника)ваще кстати прога
Апрель 18th, 2008 в 3:44 пп
Хоро�?ая программа. Желательно для интеграции чтобы работала в командной строке или имела API.
Апрель 23rd, 2008 в 10:30 пп
пригодиться ! спасибо
Апрель 28th, 2008 в 6:59 пп
Хоро�?ая программа. А не подскажете, Олег, где найти программу для определения процента ключевых слов в тексте?
Май 25th, 2008 в 1:28 пп
а как противодействовать таким программам?
Май 26th, 2008 в 6:27 пп
Отличная программа. Как раз искал что-либо подобное. Правда не получилось выделить весь текст горячими клави�?ами, хотя копирование и вставка работает на ура. Еще раз благодарю за прогу!
Июнь 7th, 2008 в 4:29 пп
�?нтересная программа, жаль, что только два текста одновременно. Будут ли новые релизы?
Июнь 10th, 2008 в 3:16 пп
�?дея программы отличная. Спасибо. Отзывы принимаете?
1. Дистрибутив программы не содержит текстового файла, в котором можно было указать:
- описание работы с программой
- авторство
- ссылку на сайт
- контакты
2. Программа выдает результат в виде процента, но не говорит какой процент хоро�?ий. Надо что-то типа если 5% – «результат хоро�?ий, тексты различаются сильно». 3% – «результат отличный, тексты практически разные». 50% – «тексты почти одинаковы». 70% – «плагиат». То же самое добавить в Read_me.txt
3. Похоже, у автора боль�?ой монитор. Окно программы имеет сильно боль�?ой размер и показано частично за краем экрана. Хоро�?о бы при первом запуске подстраиваться под размер экрана, показывать окно по центру, а при выходе сохранять размеры окна программы.
4. В диалоге открытия файла не прописаны фильтры на файлы. Программа ведь работает только с текстовыми?
5. �?конка программы имеет размер 32х32, поэтому в 16х16 показано непонятно что.
6. Программами PE Optimizer и StripReloc умень�?ил размер exe файла до 550,5 Кб против 580,5 автора. Архиватором 7zip сжал дистрибутив в zip до 268 Кб против 296 Кб автора.
Кстати, почему бы не использовать MCK&KOL?
Июнь 10th, 2008 в 5:30 пп
palina, будут =)
Моторокер, замечания ценные, готов многое включить в программу, а какой из упаковщиков (п.6) бесплатный и без ограничений?
Июнь 14th, 2008 в 2:11 дп
Луч�?е погуглить
Бесплатно всё.
PE Optimizer отбрасывает ли�?ние PE куски в готовом экзе�?нике.
StripReloc отбрасывает таблицу смещений.
7zip луч�?е многих архиваторов сжимает в zip.
MCK&KOL – набор модулей и компонентов для написания сверхмалых приложений на Delphi. �?нтерфейс у вас простой, главное – анализатор, поэтому переписать программу (перекидать компоненты) будет недолго. Зато размер умень�?ится раз в 9.
Июнь 17th, 2008 в 1:07 дп
отличная прога, проверял на текстсэйле респект автору
Июнь 25th, 2008 в 1:13 пп
Спасибо за программу!
А можно сделать так, чтоб прога сравнивала пачку статей и сортировала их по уникальности?!
Июнь 26th, 2008 в 9:48 пп
Поделитесь алгоритмом проверки �?инглов. �?ли хотя бы подскажите, где его можно найти
Июнь 27th, 2008 в 6:33 дп
Семен, я уж точно не помню, где сам на�?ел, но он очень простой. Оба текста разбиваются на слова. �?з слов формируются �?инглы (контрольная сумма из идущих подряд 10 слов (10 в этом случае – т.н. длина �?ингла)). Затем �?инглы двух тестов сравниваются. Для боль�?их текстов �?инглы считают из ограниченной выборки, а не для всех слов.
Июль 15th, 2008 в 12:54 дп
Приветствую!
Прга вроде не чего, по крайней мере то что мне надо было, боль�?е не чего не на�?ел!
Жду новых версий, надеюсь вы на данный момент ей и занимаетесь!
Боль�?е добавляйте функций которые вам тут в комментарии отписывают т.к. посмотрел ли�?него не чего не просят!
Очень полезные дополнения:
1) Проверять на уникальность пачки сгенерированных статей.
2) Ctrl+A – то же желательно!
Ну и то что «Моторокер» посоветовал!!!
Тогда проге вообще цены не будет!
Июль 16th, 2008 в 12:48 дп
Здравствуй теска!
Меня тоже зовут Олег. Не хочу тебя обидеть, но я так
и не понял в чем прелесть твоей программы. Что она
показывает? Какой-то процент? А кому он нужен?
Я иногда сравниваю записи реестра операционной
системы для поиска ключей Trial-версий программ.
Сравниваю записи до установки этих программ и после установки. �?спользую для этого программу
«Compare-it! v.4.0″. Вот это я хочу сказать действительно вещь. Она проценты не показывает,
но зато найдет расхождение в текстах вплоть до
точки или запятой.
Желаю творческих успехов.
С уважением, Олег
Июль 16th, 2008 в 8:19 дп
Олег, эта программа предназначена для людей, работающих с текстами под интернет (напр.пи�?ущих рерайты). Она сравнивает тексты на предмет схожести глазами поисковых систем.. а программы для детального сравнения файлов входили еще в комплект ms-dos, естественно их незачем изобретать.
Июль 16th, 2008 в 10:58 дп
Полезная программа, но к сожалению 2 текста для сравнения это мало
хотелось бы иметь возможность для сравнения нескольких текстов
Июль 21st, 2008 в 8:52 пп
Планируется ли пакетная проверка текстов?
Июль 23rd, 2008 в 2:34 пп
Спасибо, полезная программа, очень помогает экономить деньги при работе с рерайтерами
Июль 28th, 2008 в 4:55 пп
Олег, вы слы�?али про векторную модель поиска? Кажется так называется. Если да, как думаете, насколько использование такой модели может помочь увеличить скорость и точность поиска и отсеивания дублей?
Август 1st, 2008 в 5:30 пп
Боль�?ое спасибо за программу, только что скачал
завтра попробую
когда примерно выйдет усовер�?енствованная версия?
Олег, заходите на сайт – помогу чем могу по темам сайта.
Август 1st, 2008 в 9:29 пп
Программу не смотрела, но судя по отзывам – стоит скачать. Те, кто уже пользовал ее, расскажите, как проверить на уникальность 1000 текстов? (Ну ладно, хотя бы 100). Сравнивать каждый с каждым? Как это луч�?е сделать? В смысле если есть сотня текстов, как проверить, что среди них нет 2-х, 3-х и более одинаковых?
Август 3rd, 2008 в 2:53 пп
Прога что надо.
Только увеличить бы величину текстов которые можно сравнивать, а то с AV вылетает.
Например я синонимизировал кучу статей, которые хранятся в файле в нужном мне формате (или на фиде), по одной их проверять неудобно и долго, а все вместе было бы самое то, что бы представление получить о средней степени уникальности.
Август 26th, 2008 в 11:14 дп
спасаибо она мне очень помогает!
Август 31st, 2008 в 11:12 дп
Автор только не учел что в гугле �?инглы состоят из 5ти слов. А также то, что поисковики используют несколько проверок. По яндексу надо читать Сегаловича, по гуглу (забыл имя) индуса. �? там и там активно используются векторы и инвертированные индексы.
Луч�?ее из того чем пользуюсь это http://www.seriousrevenue.com/scripts/duplicate/ для быстрой проверки и http://copyscape.com/ для контроля.
Сентябрь 5th, 2008 в 2:06 пп
Богдан, но этот сервис сравнивает только англоязычные тексты. Об этом под формами указано:
«Attention: This tool work only with english based text»
А хотелось бы сравнить русскоязычные.
Сентябрь 23rd, 2008 в 8:26 дп
так эта программа подходит для русских текстов?? или только на english ???
Ноябрь 16th, 2008 в 1:38 дп
Спасибо, именно то что искал. Респект автору!
Ноябрь 18th, 2008 в 3:33 дп
Олег, если бы вы добавили несколько функций, то прога стала бы на порядок луч�?е и ее можно смело выставлять как платную даже.
1. Пакетное сравнение текстов. Простой цикл.
2. Релизовать Ctrl-A
3. Дать выбрать как параметр кол-во слов в �?ингле. 10 – это ну ОЧЕНЬ много. Поэтому у всех будут хоро�?ие тексты, а вот если сделать 4-5 слов в �?ингле – % сразу начнет расти. Я вот юзаю иногда здесь проверку: http://textorubka.ru/test.php Кстати, оттуда и увидел ссылки на проги и ре�?ил скачать.
Январь 11th, 2009 в 4:46 пп
Обновления не выходят?
> 2. Релизовать Ctrl-A
Как вариант создайте макрос для KeyMan из нажатий клави�?
Ctrl+Home
Ctrl+Shift+End
Думаю, сработать должно не только в этой, но и в других программах.
Январь 22nd, 2009 в 2:14 пп
Странно, но у меня тексты не открываются.
Вместо текста квадратик и пара букв. В чем дело?
Январь 22nd, 2009 в 2:21 пп
По неизвестной причине, при нажатии кнопки загрузить файлы, окно тип файла остается не активным и по этому. вероятно, не удаетс открыть документ. Меня в первую очередь интересуют вордовские документы.
Январь 28th, 2009 в 2:35 пп
Спасибо за программу! Очень помогает при рерайте текстов
Вопрос, процент схожести 5-10% нормальный? �?ли нужно до нуля его опускать?
Февраль 9th, 2009 в 2:40 пп
Очень хотелось бы увидеть в ва�?ей программе функцию подсветки одинаковых слов. Занимаюсь рерайтом и не могу найти программу с такой функцией.
Пользуюсь фри вариантом. Такой вопрос – сколько одинаковых слов подряд программа воспринимает как уникальную последовательность?
Февраль 16th, 2009 в 12:12 дп
Здравствуйте!
По результатом проверки ва�?ей программы – 5% совпадений это норм?
Яндекс не склеит?
Март 24th, 2009 в 10:28 дп
Сравниваю ва�?ей программой 2 текста:
"Предлагаю скачать программу для сравнения текстов Shingles Expert. Программа предназначена для сравнения текстов или статей методом �?инглов (Shingles)." и "Программа предназначена для сравнения текстов или статей".
Второй текст содержит в себе фрагмент первого, а значит на 100% похож на первый. Почему же Ва�?а программа выдает результат 0%???
Может быть я чего-то не понимаю?
Март 24th, 2009 в 7:44 пп
Прохожий, необходимо использовать тексты длинее, чем �?ингл (более 10 слов).
Март 25th, 2009 в 11:00 дп
В связи с ужесточением алгоритма поиска дублей Яндекса я ре�?ил усовер�?енствовать свою бесплатную программу для сравнения текстов Shingles Expert.
�?зменения в новой версии 1.1:
- Редактируемая длина �?ингла (по-умолчанию теперь 5);
- Мелкие фиксы для редактированя (Ctrl+A, Ctrl+V);
- Мини редизайн;
- В опциях: отбрасывание хтмл, лемматизация, стоп-слова;
- Убрал рекламу бирж статей, т.к. они УГ
�? сжал по-максимуму UPX-ом, так что теперь она весит в два раза мень�?е.
Март 31st, 2009 в 4:15 пп
Применима ли прога для установления общего авторства двух разных фрагментов (с абсолютно разной тематикой) при условии что стиль одинаков (деловой-деловой или беллетристика-беллетристика).
Показатели, обсуждав�?иеся вы�?е – при параметре "длина �?ингла" = 1 или =5?
Спасибо.
Апрель 17th, 2009 в 10:42 пп
Dmitry, смысла в �?ингле с длиной = 1 нету. Для установления общего авторства двух разных фрагментов не применима. �?спользовать имеет смысла для контролем за качеством «рерайтов».
Май 12th, 2009 в 9:25 пп
а этой прогой можно сравнить 2 не_совсем одинаковых текста на предмет отличий ?
Май 13th, 2009 в 6:11 дп
�?менно для этого она и предназначена..
Июнь 26th, 2009 в 9:51 дп
А можно загрузить две статьи и менять одну до тех пор пока она не станет уникальной?
Август 1st, 2009 в 4:13 пп
Очень жаль, что нет подсветки совпадений.
Август 13th, 2009 в 7:57 пп
Скачала Ва�?у программу,но все панель забита вопросиками ?????. Почему?
Август 28th, 2009 в 4:52 пп
Akulina, так обычно эта программа и используется
Тамара, наверное у вас �?рифт Georgia некириллический
Декабрь 19th, 2009 в 11:12 дп
Олег. На одной из моих ма�?ин (портативной) ситуация с вопросиками вместо русских букв в точности как у Тамары. Посмотрел �?рифт Georgia – кириллический. Проверял в блокноте: набил неболь�?ой русский текстик и выделив его установил �?рифт Georgia – кириллица сохранилась. В чем еще может быть причина ?? На PC стоит XP – русский SP – 2.
Декабрь 29th, 2009 в 12:17 пп
Спасибо. Не заменимая программка о быту )))
Январь 7th, 2010 в 10:53 пп
А мне бы наоборот подсветку бы разницы )
Январь 11th, 2010 в 8:09 дп
Было бы здорово иметь пакетную обработку текстов, чтобы сравнить каждый с каждым и получить нечто вроде таблицы соревнований, по которой можно было бы посчитать кто откуда сколько содрал.
Если скорость лемматизации не высока, могу посоветовать библиотеку морфоанализа mcr.dll (macrocosm.narod.ru/madown.html). Я ее использовал для синонимайзера (forum.yadyra.ru/viewtopic.php?f=6&t=5), работает крайне быстро. Могу отдать исходники как ставить слова в начальную форму, если надо. ну или просто так отдать, я за опенсоус. А пакетную обработку хотелось бы видеть крайне
Февраль 15th, 2010 в 5:19 пп
Спасибо за бесплатность…но "вопросики" вместо текста..Понимаю, наверное у меня отсутствует какой нибудь "важный" кирилический �?рифт, но имхо UTF8 для етого и придумали…..
Не в Грузии я не был, �? с Армстроонгом не встречался.:) Видать и у меня Джорджии нету
Март 13th, 2010 в 1:39 дп
Программа очень помогла в работе, ждем-с обновления:)
Май 19th, 2010 в 10:07 дп
Спасибо! Отличная программа
Июль 12th, 2010 в 8:23 пп
Спасибо за отличную программу!
Июль 23rd, 2010 в 9:46 дп
Да программа хоро�?ая, но я бы предложил добавить пару фитч – к примеру, сравнение текста с бруазером
Июль 25th, 2010 в 4:29 дп
Спасибо за программу и за обновление, постоянно используем ее в работе. Очень помогает отслеживать качество работы копирайтеров. Возможно, вам имеет смысл сделать платную версию с доработками для профи? Подумайте…
Сентябрь 26th, 2010 в 12:07 дп
Ради интереса скачал. Понравилось
Хотя для работы уже не актуально по причине того, что боль�?е полагаюсь на мозг.
Для технических текстов – отличная вещь.
Сентябрь 26th, 2010 в 12:26 пп
Прога отличная. сама ею пользуюсь. Жаль только, что только с двумя текстами одновременно она работает
Октябрь 2nd, 2010 в 1:32 дп
реально прикольно, сейчас проверю:)
Октябрь 2nd, 2010 в 3:59 пп
Спасибо за хоро�?ую прогу! Я новичок в создание блогов, но интуиция подсказала: «Скачать! Пригодится для наполнения сайта уникальным контентом.» �? я скачал.
Еще раз спасибо!
Декабрь 19th, 2010 в 10:18 дп
Спасибо за полезную и нужную вещь, удобно и класно.
Январь 8th, 2011 в 3:43 пп
Возможно программа хорошая, но увы, не получилось попробовать – интерфейс: лейблы, подписи к кнопкам, короче всё, в одних вопросительных знаках (windows 7 и XP, обе английские но с установленной русской локалью) Вообще-то юникод изобрели ещё в 80х годах, странно что некоторые программисты упорно его не используют, вроде и дельфи уже давно на юникоде…
Январь 9th, 2011 в 4:21 пп
Спасибо за программу, понравилась. Пользовался программой с Адвего, а теперь эту попробую.
Апрель 18th, 2011 в 3:31 пп
Сделайте, пожалуйста, подсветку неуникальных фрагментов и чтобы текст не выходил за край окна. Было бы удобно для экспресс-рерайтинга.
Май 16th, 2011 в 11:51 пп
Access violation …..
не работает
Май 23rd, 2011 в 4:44 пп
Программа хорошая. Есть вопросы. При запуске пишет: нет доступа по адресу… прописывает модуль dll. ОС ХР SP3. Несколько раз закрываешь окно предупреждения и потом запускается сравнение.
Апрель 2nd, 2012 в 10:30 дп
К сожалению, потестить под XP SP3 сейчас нет возможности, у остальных тоже эта проблема есть?
Апрель 18th, 2012 в 6:24 дп
Да, у меня та же проблема – «Access violation at address…» под win-7-64.