Извините, что не сообразил сразу, но пора бы ввести теги

#КтоЕстьКто на знакомства и нетворкинг

#Прогресс на отчёты и рассказы о поисках

И

#Помощь на вопрос к залу запрос помощи, совета или коллаборации

STATE OF THE ART | НЕ ИЗОБРЕТАЙТЕ ВЕЛОСИПЕД 🌠

С областью интересов определились, время узнать состояние этой области!

Уделите хотя бы 15 минут поиску общих статей по теме — популярных и обзорных, если она широкая и известная; метаанализов, если она узкая и специфичная, и всего между ними.

Обзорные статьи стоит искать, если не хотите проделать сделанной до вас работы. Как правило кто-то уже собрал в одно место список возможных направлений, ведущихся исследований и/или ключевых вопросов.

Конечно, к ним тоже есть стандарты: актуальность и релевантность.
Проверяйте дату публикации: ситуация в науке порой меняется быстро, и то, что было актуально год назад, может быть устаревшим сегодня. Также обратите внимание на список литературы: хорошая обзорная статья содержит ссылки на первоисточники, которые могут быть полезными для вашего исследования.

P.S. Да, Вики пойдёт. Нет, она не является надёжным источником. Но она часто даёт ссылки на надёжные источники!!

Как и где искать данные? Я несколько раз ранее писал про разные поисковые системы по открытым / доступным данным и список поисковиков у меня постоянно обновляется так что в этом посте их актуализированная подборка:

- Google Dataset Search - единственный поиск от крупного игрока поисковых систем, в данном случае Google. Ищет по датасетам найденным поисковой системой на веб страницах где размечен объект DataSet из Schema.org. Это, с одной стороны делает его одним из крупнейших поисковых индексов по данным в мире (45 миллионов наборов данных из 15 тысяч источников на начало 2023 года), а с другой очень сильно поиск отравлен сеошниками, даже если искать бесплатные данные. Также результаты этого поиска теперь подмешиваются в основной поиск Google при релевантных запросах

- OpenAIRE - это не в чистом виде поиск по данным, но поиск по результатам научной деятельности, Данных там тоже много, от 5 до 17 миллионов наборов данных, смотря как классифицировать объекты поиска поскольку кроме машиночитаемых таблиц там к данным отнесены ещё и изображения, видео и аудио записи. Тем не менее, даже со всеми оговорками, это один из крупнейших поисковиков по данным в мире.

- DataCite Search - поисковик от компании DataCite выдающей DOI исследователям публикующим данные. Плюс в том что их база наборов данных весьма обширна, это фактически все наборы данных публикуемые исследователями официально. Минус в том что контроля за назначением DOI нет и многочисленные ссылки там ведут просто на статьи и другие объекты, но не данные. Тем не менее база объектов поиска там обширна, более 20 миллионов записей и работа над качеством продолжается. Это один из наиболее крупных поисковиков по научным данным.

- BASE - Bielefeld Academic Search Engine, академическая поисковая система от Билефельдского университета в Германии. Охватывает более чем 339 миллионов результатов научной деятельности из которых не менее 18.5 миллионов составляют наборы данных. Конечно надо делать оговорку на то что в основе поиска по данным там индекс DataCite

- FindData - поисковая система по научным данным от Компьютерного сетевого информационного центра при Китайской академии наук. Тесно интегрирован с другим их проектом, ScienceDb. Преимущественно ищет по китайским и связанным с Китаем источникам научных данных.

- Research Data Australia - поисковик по данным как часть научной инфраструктуры Австралии. Более 200 тысяч наборов данных, только из местных каталогов данных, причём охватывает как государственные, так и научные каталоги, а также каталоги геоданных. Поддерживает поиск по территориям на карте, достаточно выделить участок карты Австралии и он выдаст все связанные наборы данных.

- Data.europe.eu - общеевропейский портал открытых данных постепенно вбирающий в себя все наборы данных из национальных порталов Евросоюза и из геопорталов в рамках инициативы INSPIRE и не только. Крупнейший наднациональный портал открытых данных в мире.

- Zenodo - крупнейший репозиторий научных данных в Европейском союзе и крупнейшая инсталляция открытого ПО для ведения коллекций цифровых объектов Invenio. Используется учёными по всему миру для публикации своих данных из-за бесплатности и автоматической выдачи DOI.

#opendata #datasets #data #datasearch

Если вы уже определились с вопросом для поиска и нашли для него SoTA (а также если даже не начали этого делать, но делаете что хотите, и кто вам тут запретит), то сегодня отличный день, чтобы:

Прогуглить [тема_нейм] + "лучший учебник". Проглядеть обсуждения интересующей вас темы, чтобы найти материал вашего уровня.

"Пойти вверх по течению" -- взять понравившуюся вам работу по теме, и пробежаться глазами по источникам, которые указаны в ней.

Наконец, главное: сделать запрос в специализированные научные базы данных вроде Google Scholar, PubMed, Scopus, Web of Science и других.
(Мы писали о том, где искать научку на русском: https://vk.com/wall-216606639_299 и на английском: https://vk.com/wall-216606639_309)

🖊 Идеальным результатом сегодняшнего дня будет небольшой (3-7) список источников с указанием:
- релевантности для вашего вопроса
- полноты информации
- авторитетности
(как оценить найденное мы писали здесь: https://vk.com/wall-216606639_342 и здесь: https://vk.com/wall-216606639_42)

Ваш набор источников не выбит в камне; его можно будет поменять в любой момент, если вы обнаружите, что что-то в нём вам не подходит.

Так что всё это сейчас можно прикинуть вашим паучьим чутьём, прочитав найденное наискосок, а проверить позже.

Подписчики сделали приложение, которое объединяет все статьи с arXiv, bioRxiv, chemRxiv и medRxiv в одном UI.

Потыкать тут: https://synthical.com/

Фичи:
- Similarity search поверх всех статей
- Рекомендации статей на основе истории чтения
- Упрощалка статей с использованием LLM
- Вкладка “trending” c популярными статьями
- Букмарки, комменты
- Можно создавать общие папки со статьями и шерить их со своей командой
- Хайлайты (которые тоже можно шерить)

Фичи из ближайшего будущего:
- Сравнение версий статьи
- Настройка в "упрощалке", чтобы регулировать степень упрощения
- Навигация по пунктам статьи менюшкой
- Адаптивная верстка статей (чтобы с телефона удобно было читать)
- Выводить крутые папки статей на главной
- В поиске побольше фильтров (в том числе поиск по годам)
- Раздел с вакансиями

Кстати, если надо открыть статью с архива, можно заменить в урле arxiv на synthical: https://synthical.com/abs/2308.02500

Расскажите, что вам нравится, чего не хватает, и чего ждете больше всего: @mixedenn

Это время взять чашку чая и углубиться в источники, с которыми вы решили работать.
Удачной охоты!

//Статья о том, как проверить свои источники, тут: https://vk.com/wall-216606639_342 и тут: https://vk.com/wall-216606639_292
Инструмент для поиска связанных работ: www.connectedpapers.com

🌠 ПРОВЕРКА 🌠

Если к этому моменту у вас сформировалось предчувствие о том, что вы в итоге найдёте, остановите на этом свой внимание и потратьте (буквальные) 5 минут на выписывание альтернативных гипотез. Прогуглите их хотя бы поверхностно.

Обнаруживать, что вы прокопали целую траншею не в том направлении, бывает печально.

Идеальным результатом сегодняшнего дня будет:
- небольшой гуглёж подтверждений альтернативной гипотезы, если вы пришли ресёрчить вопрос
- критическая проверка своего плана, на то, что может пойти не так, если вы планировали проект
- проверка источников, на которые вы решили опираться при исследовании, с помощью CRAAP

Сегодня мы (спонтанно-запланировано) продолжали обрабатывать полученную инфу, и вам советуем.

Пожалуйста не забывайте в пути про:

1. Заметки!!
Создайте систему заметок — хоть в самой книге, хоть в обсидиане, хоть на туалетной бумаге — вы удержите намного больше информации, если сможете в любой момент вернуться к своим записям

2. Активное чтение
Задавайте к тексту вопросы, думайте, как полученная информация соотносится с уже известной вам и с вашим ресёрчем

3. Пересмотр
Возвращайтесь к
- вашим изначальным вопросам
- вашим прошлым гипотезам
- вашим заметкам
чтобы не потерять нить исследования

Удачной охоты!

🖊 СОСТАВЛЯЕМ ОТЧЁТ 🖊

Кажется, это последний день пати, а значит, пришла пора собирать воедино результаты.

🎩 Пройдитесь по заметкам, собранным во время ресёрча. Освежите память и постарайтесь придать им структуру.
Всё, что вы маркировали по ходу дела, теперь можно включить в источники. Все записанные вопросы и изменения в них могут отлично показать незнакомому человеку ваш путь поиска.

🎩 Уделите время рефлексии. Что нового вам удалось узнать? Какие воззрения вы изменили? Узнали ли вы что-то новое на мета-уровне, о самом процессе поиска?

🎩 Свяжите свои выводы с предыдущими знаниями. Уделите время тому, чтобы найти способ встроить в свою жизнь полученные знания, а не выучить их пассивно.

Более подробный пост о том, как систематизировать информацию, лежит здесь: https://vk.com/wall-216606639_347

Результатами вы можете поделиться в чате hottg.com/researchparty42
А с админа отчёт о том, как прошли эти 42 дня.

Всем спасибо, всем удачной охоты!

🌌 Oh well

Вот и пришёл день окончания второй ресёрч-пати.
У нас есть выводы.

🌌 С ВАМИ БЫЛО ВОСХИТИТЕЛЬНО
Вы — пати красавчиков. Мы вас всех любим.
Это не в коем разе не шутка — нынешняя пати прошла все 42 дня дружной и сплочённой (не считая пары-тройки рикроллов, но с кем не бывает)

Почти сразу ресёрчеры принесли свои вопросы, бросились друг другу помогать и тут же перезнакомились.
Мы не знаем, как в этот раз у нас получилось найти таких чудесных котов, но мы попробуем повторить все условия для этого.

🌌 ПАТИ СТАЛА МЕНЕЕ ПОСТОЯННОЙ
Мы осознали не так давно, что, хотя со стороны мы выглядели собранными — в одном стиле, с более-менее постоянным расписанием, мы всё же никогда не были стабильной редакцией. И не было никакой нужды вести первую пати так, будто мы — неповоротливый ледокол, а не юркий катерок.

В этот раз мы попробовали пересказывать статьи в мемах, попробовали переносить модули, а после отказались от них вообще, поменяли на ходу цвета оформления и некоторые форматы.
Попробовали начать три чата, отказались от этой идеи, когда все три категории ресёрчеров оказались пересекающимися. Освоили телеграм и строис в вк. И мемы. Много мемов.

🌌 НИКТО НИЧЕГО НЕ УСПЕЛ
Что логично, ибо мы:
- перенесли хакатон на последнюю неделю марафона
- не напоминали своим чювакам писать отчёты
- не публиковали напоминаний о тайминге (роль которого раньше выполняли модули)

А поэтому для всех чуваков, уже живущих в нашем чате, мы не закрываем его, а переименовываем в афтерпати и продолжаем выдавать ачивки. Не исключено, что следующую пати мы запилим прямо сейчас, с вами же в роли методистов.

🌌 СПАСИБО ОГРОМНОЕ, ЧТО БЫЛИ С НАМИ!

Нам пришла куча обратной связи, и мы рады получить ещё!
Анонимно сказать приятности или покричать в нас можно в этой гугл форме: https://forms.gle/kxJjRQEiaCYRjLCU7

К доп материалам (по поиску вообще, не только по научному ресёрчу)

А это легендарный сборник материалов крэкера и искателя, известного в прошлом под ником +Fravia. Автора огромного сетевого ресурса о поисковом искусстве и сопутствующих навыках. Он был первым известным человеком, подошедшим к поиску именно как к искусству, человеком, создавшим школу сетевого поиска, описавшим эстетику и логику этого процесса на всех этапах и приспособившим его с помощью соратников к реальной жизни.

➖➖

Шикарное видео. Жаль, что в пример приведена история одного человека, а не более общая тема, но все шаги автор расписал наглядно и отличным языком:

https://www.youtube.com/watch?v=_R-kfTVEMfM&list=PLNZL-TabtILlZ2Y9a5MYNLhtnqcj8yttT&index=15

Ребята, есть некоторая идея.

📚 Meet the e-book with selected writings of Fravia: a philosopher, a reverse engineer, and a master of search.

https://soxoj.substack.com/p/book-fravia-the-art-of-searching

A medievalist and informatician-linguist, shifted from the cracking topic to search lessons. He pioneered internet search 25 years ago; he explored propaganda a decade before Bellingcat began. I'd like to rediscover it for OSINT specialists and a wide audience.

Enjoy reading!

#community

Как разоблачить ИИ-генерацию?

Нейросети совершенствуются каждый день. Ранее мы писали о вирусном «фото» Папы Римского в модном пуховике и о том, как самостоятельно вычислить нейрофейк. Но фактчекинг можно доверить программам, специально обученным на миллионах таких генераций. Попробуйте инструменты для проверки аудиозаписей, видео, текстов, фотографий и иллюстраций:

AI or Not сканирует аудиозаписи и фотографии на след нейросетей. Можно закидывать файлы весом до 10 МБ любого типа и формата: от нейрокаверов популярных песен до «фотографий» того же Папы Римского с радужными флагами. Бесплатно можно совершить 10 проверок в месяц.

AI Image Detector определяет автора рисунка, так как обучен на художественных генерациях нейросетей и настоящей живописи. Фотошоп и дипфейк могут сбить его с толку, зато бесплатный сервис точно укажет, какая картина написана человеком, а какая сгенерирована нейросетью.

Illuminarty обнаружит дипфейки и ненастоящие фото. В процентном соотношении укажет, кто может быть автором иллюстрации: MidJourney, DALL-E, другая нейросеть или человек. Бесплатно можно проверять неограниченное количество изображений, а по подписке доступно «локальное» обнаружение, помогающее понять, где именно постаралась нейросеть, а где изображение осталось неизменным — это полезно для случаев, когда с помощью ИИ на фотографию добавили лишь детали.

AI Content Detector определяет, где к тексту приложил руку человек, а где писала нейросеть, и выделяет след нейросети в процентном соотношении, где 0% — точно человеческое письмо, а 100% — сгенерированный запрос без единого вмешательства редактора. Корректно сервис работает пока только на английском, бесплатно воспользоваться им можно 10 раз.

Но даже эти средства обнаружения не всегда дают однозначный результат, которому стоит полностью доверять, и могут пропустить ИИ, если для его маскировки использовали инструменты по «человеческому рерайту» вроде BypassGPT. Будьте осторожны!