Бесплатная программа для сравнения двух текстов Shingles Expert
Автор: oleg_banshee
1
Март
Предлагаю скачать программу для сравнения текстов Shingles Expert. Программа предназначена для сравнения текстов или статей методом шинглов (Shingles). Есть мнение, что на основе этого метода или более грубого (супершинглы) поисковики оценивают уникальность контента. Программа бесплатная, без ограничений.
По сравнению с известным аналогом у моей программы есть важные преимущества:
- Эмуляция лемматизации (нормализации) текста. По специальному алгоритму отбрасываются окончания слов, чтобы отсечь изменения слов при склонении, спряжении и т.п. Качество определения схожести увеличивается до десятков процентов (обычно точнее на 5-15%). За счет грубости метода могут быть некоторые неточности, но только в сторону повышения строгости проверки.
- Отбрасывание стоп-слов. Метод снижает нагрузку при расчете сравнения, отбрасывая распространенные союзы, предлоги. Позволяет обойти некоторые простейшие синонимичные изменения. При небольшом объеме текста - процент совпадений снижается, т.к. отбрасывается зачастую схожая часть текста. Опционально, т.к. не совсем ясно, в плюс оно ли нет.
Вот, собственно, и все.
История версий:
- Shingles Expert v.1.0 - 01 марта 2008;
- Shingles Expert v.1.1 - 25 марта 2009 (текущая версия программы);
Скачать: Программа для сравнения текстов Shingles Expert
В рубриках: seo, Программы
Отзывов (80) на «Бесплатная программа для сравнения двух текстов Shingles Expert»
Отличная прога. Спасибо.
Спасибо, щас поглядим-с.
Хорошая вещь, спасибо.
Реквестую Ctrl+A.
Как раз назрела необходимость в большом количестве текстов определенной тематики…
Теперь ОРФО 9.0 и Shingles Expert - мои основные инструменты
вообще хорошая штучка…
спасибо… вот только решил найти чтото подобное, чтобы свой синонимайзер потестить - и тут сразу на твой топик наткнулся
Да и результаты меня порадовали - 4% это хорошая цифра
вот только одно плохо - когда я в него загнал файлик на мегабайт програмка вывалилась с ошибкой…
в смысле при сравнении вывалилась а не при заливке
Да, насколько я помню, у мемы было ограничение в 32 тыс строк.. но сравнивать два войны и мира - это, конечно, занятие для гурмана
На всякий случай скачаем, а вам спасибо
Для сравнения статей самое то) thx
Скачаю, спасибо!
Извиняюсь за оффтоп, не давно заказывал копирайт одной статьи и размножение до 300 статей. Сейчас попробовал сравнить статьи вашей прогой результаты от 0% до 4%. Скажите насколько стоит доверать вашей программе? ( А то я последнее время параноюсь по поводу уникальности размещаемых статей и даже сам начинаю писать по десять штук статей судорожно для того чтобы они были уникальны)
0-4% это очень хорошие показатели
Клёвая прога
давно искал такую
спасибо
полезная програма!очень помагает студентам1
Отличная прога, я давно хотел такую, только найти не мог, огромное сенкс автору!!!
Прога то супер, а можно к ней табличку вывесить вида:
0-5% супер текст, 10-20 очень плохо. Сложно ориентироваться.
по отзывам вроде совсем неплохо,сейчас оценю,спасибо за бесплатность)
Что у вас с Бегуном на сайте? Подправьте кодировку ^^
А что с ним? - под FF все ок. Под оперой тоже. Под IE объявлений что-то не вижу, но и проблем с кодировкой, соответственно, тоже.
О! Ура! Вот и нашлось то что искалось! Спасибо большое, просто выручили. А то уже расстроиться успела
Ее, надеюсь, инсталлировать не надо, portable?!
Я даже не задумывался! спасибо за информацию!
Классная программа. Прорерайтила свой первый текст. Результат: 47%. Научиться бы доводить до нуля.
прога супер, спасибо
оо отлично.спасибо.мне как раз надо проверить текс дипломника)ваще кстати прога
Хорошая программа. Желательно для интеграции чтобы работала в командной строке или имела API.
пригодиться ! спасибо
Хорошая программа. А не подскажете, Олег, где найти программу для определения процента ключевых слов в тексте?
а как противодействовать таким программам?
Отличная программа. Как раз искал что-либо подобное. Правда не получилось выделить весь текст горячими клавишами, хотя копирование и вставка работает на ура. Еще раз благодарю за прогу!
Интересная программа, жаль, что только два текста одновременно. Будут ли новые релизы?
Идея программы отличная. Спасибо. Отзывы принимаете?
1. Дистрибутив программы не содержит текстового файла, в котором можно было указать:
- описание работы с программой
- авторство
- ссылку на сайт
- контакты
2. Программа выдает результат в виде процента, но не говорит какой процент хороший. Надо что-то типа если 5% – «результат хороший, тексты различаются сильно». 3% – «результат отличный, тексты практически разные». 50% – «тексты почти одинаковы». 70% – «плагиат». То же самое добавить в Read_me.txt
3. Похоже, у автора большой монитор. Окно программы имеет сильно большой размер и показано частично за краем экрана. Хорошо бы при первом запуске подстраиваться под размер экрана, показывать окно по центру, а при выходе сохранять размеры окна программы.
4. В диалоге открытия файла не прописаны фильтры на файлы. Программа ведь работает только с текстовыми?
5. Иконка программы имеет размер 32х32, поэтому в 16х16 показано непонятно что.
6. Программами PE Optimizer и StripReloc уменьшил размер exe файла до 550,5 Кб против 580,5 автора. Архиватором 7zip сжал дистрибутив в zip до 268 Кб против 296 Кб автора.
Кстати, почему бы не использовать MCK&KOL?
palina, будут =)
Моторокер, замечания ценные, готов многое включить в программу, а какой из упаковщиков (п.6) бесплатный и без ограничений?
Лучше погуглить
Бесплатно всё.
PE Optimizer отбрасывает лишние PE куски в готовом экзешнике.
StripReloc отбрасывает таблицу смещений.
7zip лучше многих архиваторов сжимает в zip.
MCK&KOL – набор модулей и компонентов для написания сверхмалых приложений на Delphi. Интерфейс у вас простой, главное – анализатор, поэтому переписать программу (перекидать компоненты) будет недолго. Зато размер уменьшится раз в 9.
отличная прога, проверял на текстсэйле респект автору
Спасибо за программу!
А можно сделать так, чтоб прога сравнивала пачку статей и сортировала их по уникальности?!
Поделитесь алгоритмом проверки шинглов. Или хотя бы подскажите, где его можно найти
Семен, я уж точно не помню, где сам нашел, но он очень простой. Оба текста разбиваются на слова. Из слов формируются шинглы (контрольная сумма из идущих подряд 10 слов (10 в этом случае - т.н. длина шингла)). Затем шинглы двух тестов сравниваются. Для больших текстов шинглы считают из ограниченной выборки, а не для всех слов.
Приветствую!
Прга вроде не чего, по крайней мере то что мне надо было, больше не чего не нашел!
Жду новых версий, надеюсь вы на данный момент ей и занимаетесь!
Больше добавляйте функций которые вам тут в комментарии отписывают т.к. посмотрел лишнего не чего не просят!
Очень полезные дополнения:
1) Проверять на уникальность пачки сгенерированных статей.
2) Ctrl+A - то же желательно!
Ну и то что “Моторокер” посоветовал!!!
Тогда проге вообще цены не будет!
Здравствуй теска!
Меня тоже зовут Олег. Не хочу тебя обидеть, но я так
и не понял в чем прелесть твоей программы. Что она
показывает? Какой-то процент? А кому он нужен?
Я иногда сравниваю записи реестра операционной
системы для поиска ключей Trial-версий программ.
Сравниваю записи до установки этих программ и после установки. Использую для этого программу
“Compare-it! v.4.0″. Вот это я хочу сказать действительно вещь. Она проценты не показывает,
но зато найдет расхождение в текстах вплоть до
точки или запятой.
Желаю творческих успехов.
С уважением, Олег
Олег, эта программа предназначена для людей, работающих с текстами под интернет (напр.пишущих рерайты). Она сравнивает тексты на предмет схожести глазами поисковых систем.. а программы для детального сравнения файлов входили еще в комплект ms-dos, естественно их незачем изобретать.
Полезная программа, но к сожалению 2 текста для сравнения это мало
хотелось бы иметь возможность для сравнения нескольких текстов
Планируется ли пакетная проверка текстов?
Спасибо, полезная программа, очень помогает экономить деньги при работе с рерайтерами
Олег, вы слышали про векторную модель поиска? Кажется так называется. Если да, как думаете, насколько использование такой модели может помочь увеличить скорость и точность поиска и отсеивания дублей?
Большое спасибо за программу, только что скачал
завтра попробую
когда примерно выйдет усовершенствованная версия?
Олег, заходите на сайт - помогу чем могу по темам сайта.
Программу не смотрела, но судя по отзывам - стоит скачать. Те, кто уже пользовал ее, расскажите, как проверить на уникальность 1000 текстов? (Ну ладно, хотя бы 100). Сравнивать каждый с каждым? Как это лучше сделать? В смысле если есть сотня текстов, как проверить, что среди них нет 2-х, 3-х и более одинаковых?
Прога что надо.
Только увеличить бы величину текстов которые можно сравнивать, а то с AV вылетает.
Например я синонимизировал кучу статей, которые хранятся в файле в нужном мне формате (или на фиде), по одной их проверять неудобно и долго, а все вместе было бы самое то, что бы представление получить о средней степени уникальности.
спасаибо она мне очень помогает!
Автор только не учел что в гугле шинглы состоят из 5ти слов. А также то, что поисковики используют несколько проверок. По яндексу надо читать Сегаловича, по гуглу (забыл имя) индуса. И там и там активно используются векторы и инвертированные индексы.
Лучшее из того чем пользуюсь это http://www.seriousrevenue.com/scripts/duplicate/ для быстрой проверки и http://copyscape.com/ для контроля.
Богдан, но этот сервис сравнивает только англоязычные тексты. Об этом под формами указано:
“Attention: This tool work only with english based text”
А хотелось бы сравнить русскоязычные.
так эта программа подходит для русских текстов?? или только на english ???
Спасибо, именно то что искал. Респект автору!
Олег, если бы вы добавили несколько функций, то прога стала бы на порядок лучше и ее можно смело выставлять как платную даже.
1. Пакетное сравнение текстов. Простой цикл.
2. Релизовать Ctrl-A
3. Дать выбрать как параметр кол-во слов в шингле. 10 - это ну ОЧЕНЬ много. Поэтому у всех будут хорошие тексты, а вот если сделать 4-5 слов в шингле - % сразу начнет расти. Я вот юзаю иногда здесь проверку: http://textorubka.ru/test.php Кстати, оттуда и увидел ссылки на проги и решил скачать.
Обновления не выходят?
> 2. Релизовать Ctrl-A
Как вариант создайте макрос для KeyMan из нажатий клавиш
Ctrl+Home
Ctrl+Shift+End
Думаю, сработать должно не только в этой, но и в других программах.
Странно, но у меня тексты не открываются.
Вместо текста квадратик и пара букв. В чем дело?
По неизвестной причине, при нажатии кнопки загрузить файлы, окно тип файла остается не активным и по этому. вероятно, не удаетс открыть документ. Меня в первую очередь интересуют вордовские документы.
Спасибо за программу! Очень помогает при рерайте текстов
Вопрос, процент схожести 5-10% нормальный? Или нужно до нуля его опускать?
Очень хотелось бы увидеть в вашей программе функцию подсветки одинаковых слов. Занимаюсь рерайтом и не могу найти программу с такой функцией.
Пользуюсь фри вариантом. Такой вопрос - сколько одинаковых слов подряд программа воспринимает как уникальную последовательность?
Здравствуйте!
По результатом проверки вашей программы - 5% совпадений это норм?
Яндекс не склеит?
Сравниваю вашей программой 2 текста:
\"Предлагаю скачать программу для сравнения текстов Shingles Expert. Программа предназначена для сравнения текстов или статей методом шинглов (Shingles).\" и \"Программа предназначена для сравнения текстов или статей\".
Второй текст содержит в себе фрагмент первого, а значит на 100% похож на первый. Почему же Ваша программа выдает результат 0%???
Может быть я чего-то не понимаю?
Прохожий, необходимо использовать тексты длинее, чем шингл (более 10 слов).
В связи с ужесточением алгоритма поиска дублей Яндекса я решил усовершенствовать свою бесплатную программу для сравнения текстов Shingles Expert.
Изменения в новой версии 1.1:
- Редактируемая длина шингла (по-умолчанию теперь 5);
- Мелкие фиксы для редактированя (Ctrl+A, Ctrl+V);
- Мини редизайн;
- В опциях: отбрасывание хтмл, лемматизация, стоп-слова;
- Убрал рекламу бирж статей, т.к. они УГ
И сжал по-максимуму UPX-ом, так что теперь она весит в два раза меньше.
Применима ли прога для установления общего авторства двух разных фрагментов (с абсолютно разной тематикой) при условии что стиль одинаков (деловой-деловой или беллетристика-беллетристика).
Показатели, обсуждавшиеся выше - при параметре \"длина шингла\" = 1 или =5?
Спасибо.
Dmitry, смысла в шингле с длиной = 1 нету. Для установления общего авторства двух разных фрагментов не применима. Использовать имеет смысла для контролем за качеством “рерайтов”.
а этой прогой можно сравнить 2 не_совсем одинаковых текста на предмет отличий ?
Именно для этого она и предназначена..
А можно загрузить две статьи и менять одну до тех пор пока она не станет уникальной?
Очень жаль, что нет подсветки совпадений.
Скачала Вашу программу,но все панель забита вопросиками ?????. Почему?
Akulina, так обычно эта программа и используется
Тамара, наверное у вас шрифт Georgia некириллический
Олег. На одной из моих машин (портативной) ситуация с вопросиками вместо русских букв в точности как у Тамары. Посмотрел шрифт Georgia - кириллический. Проверял в блокноте: набил небольшой русский текстик и выделив его установил шрифт Georgia - кириллица сохранилась. В чем еще может быть причина ?? На PC стоит XP - русский SP - 2.
Спасибо. Не заменимая программка о быту )))
А мне бы наоборот подсветку бы разницы )
Было бы здорово иметь пакетную обработку текстов, чтобы сравнить каждый с каждым и получить нечто вроде таблицы соревнований, по которой можно было бы посчитать кто откуда сколько содрал.
Если скорость лемматизации не высока, могу посоветовать библиотеку морфоанализа mcr.dll (macrocosm.narod.ru/madown.html). Я ее использовал для синонимайзера (forum.yadyra.ru/viewtopic.php?f=6&t=5), работает крайне быстро. Могу отдать исходники как ставить слова в начальную форму, если надо. ну или просто так отдать, я за опенсоус. А пакетную обработку хотелось бы видеть крайне
Спасибо за бесплатность…но \"вопросики\" вместо текста..Понимаю, наверное у меня отсутствует какой нибудь \"важный\" кирилический шрифт, но имхо UTF8 для етого и придумали…..
Не в Грузии я не был, И с Армстроонгом не встречался.:) Видать и у меня Джорджии нету
Программа очень помогла в работе, ждем-с обновления:)
Спасибо! Отличная программа
Спасибо за отличную программу!
Да программа хорошая, но я бы предложил добавить пару фитч - к примеру, сравнение текста с бруазером
Спасибо за программу и за обновление, постоянно используем ее в работе. Очень помогает отслеживать качество работы копирайтеров. Возможно, вам имеет смысл сделать платную версию с доработками для профи? Подумайте…
Оставьте отзыв