Нейросети со степенью. Или нет?

Проестировала нейросети, заявленные в качестве научных. Это такая группа, а в ней птички: Crow, Falcon, Owl и Phoenix

https://platform.futurehouse.org/

Птички ищут ответы в научных статьях, аргументируя ссылками вида "1.2", где 1 – номер статьи в списке литературы, а 2 – номер обращения к этой статье. По наведению на каждое цитирование всплывает, что было в этой статье по этой мысли.

Crow (ворона) отвечает на вопрос (очень развернуто) 

Falcon (сокол) делает структурированный литобзор. Пишут, что имеет доступ к нескольким специализированным научным базам данных. Я большой разницы в глубине поиска между ними не заметила, скорее это стиль подачи

Owl (сова) отвечает на вопрос, делал ли искомое кто-то?

Phoenix (феникс) предлагается для планирования химических экспериментов

Потестировала птичек (кроме феникса)

Вначале был простой вопрос, уже обсуждавшийся тут: какие соотношения чисел способны распознавать мыши. Вот ChatGPT (разные модели), отвечая на этот вопрос, врал, выдумывал факты и ссылки, пытался притянуть факты от других видов, переходил на смежные вопросы, юлил, но найти пару нужных для ответа статей не смог. 

А птички справились! Falcon развернул огромный отчет на эту тему, а Crow ответила подробно, аргументируя ссылками. Мне очень понравилось! Только очень много букв.

Спросила посложнее, о том, в чем я разбираюсь лучше всех и могу оценить: у каких животных бывает внутривыводковая агрессия и почему. 

На самом деле ответили очень хорошо, с первого же раза подтянули статьи (почти все по делу), все сформулировали, даже гипотезы обтекаемо, но вычленили. Но есть слабости, дипломнику такие бы простили.

• По умолчанию берут информацию не из результатов (и уж, конечно, в методы тем более не смотрят), а из абстракта, введения и обсуждения. В итоге, если речь об исследовании, что было конкретно в работе остается неизвестным, написано еще более обтекаемо, чем в обсуждении самой статьи. А если цитируют уже обзор, то в итоге обтекаемость еще увеличивается. Но очевидно, можно, дальше запрашивать детали. Птички уже читают дальше абстракта! Но, конечно, этого недостаточно.

• Организация текста: одно и тоже по кругу, переформулируя в разные подразделы – очень водянисто

• Подбирают странноватые статьи. Когда пишут про какие-то ставшие базовыми представления, а цитируют при этом не первоисточник, как положено, а какие-то очень третичные статьи. Это скорее всего связано с доступностью статей в открытом доступе. Мы, люди тоже проходили этот этап. Если бы писал ученый, он бы подобрал скорее всего более конкретные исследования по каждой гипотезе или фактору. 

• Эпизодически (пойманы на этом Сокол и Сова) цитируют не релевантно (при этом нужная ссылка может быть в соседнем абзаце). Например, пишет про поросят, цитирует про людей, пишет про кошачьих, цитирует про гиен. (примеры внизу).

• Не всё находят очевидное (пейвол?), но находят неочевидное (и это прикольно)

• У одной статьи не Сокол нашел журнал у публикации, хотя руками в первой же строке поиска (вот уж не смогла понять, почему).

Пара примеров проблем:

Falcon:

1. This phenomenon has been documented in birds, mammals, amphibians, and teleost fish and reflects an evolutionary strategy that maximizes individual fitness by reducing intra‐brood competition for parental investment (1.1). 

Тут в идеале быть ссылки о том, что это а) у многих животных, б) про фитнес и инвестмент – концепции социобиологии. Ну или что-то из этого. А он цитирует книгу по психологии, в которой просто есть глава о том, как у животных. (The Evolution of Violence). Междисциплинарно зато. Книга научная, приемлемо для дипломника, что нашел, то и прочел.

2. Similar aggressive dynamics have been observed in domestic piglets, where specialized dentition facilitates aggressive encounters over access to better milk-yielding teats, demonstrating that even within litter-bearing species, competition is a critical determinant of fitness (7.1).

Это он цитирует статью про человека и психологию («Genetic relatedness, emotional closeness and physical aggression: A comparison of full and half sibling experiences». Europe’s Journal of Psychology), в выноске не аргументируя это. Там про людей.

Не нашел, что есть запрашиваемая внутривыводковая агрессия у рысей (хотя вообще список видов с ней невелик), зато подтянул рыбок. 

Тогда я спросила Сову: изучал ли кто-то внутривыводковую агрессию у кошачьих – она нашла часть и про рысей, потом добавила неочевидных, но связанных исследований. А потом огорчила меня:

Owl

Finally, comparisons with other carnivores indicate that early sibling interactions in felids, such as domestic cats, are generally less aggressive and more affiliative (а у рысей кровавые драки и вопрос о таком- это она уже забыла), further substantiating that sibling aggression has been a subject of investigation (7.1).

В ссылке внезапно более ранняя, чем все про кошек, (то есть не цитирующая их) статья про гиен! («Aggression decreases as play emerges in infant spotted hyaenas: preparation for joining the clan»)

В итоге: как и положено нейросетям, они похожи на студента, но уже умненького!

Плюсы и чудеса:

• Почти не врёт вроде, ссылается на реальные статьи!!

• Бесплатно

• Работает без vpn!

• Если писать запрос на русском и подождать, то он подумает и изменит текст на русский. Но на английском гладенько, а на русском нет.

• «Глаз» не замылен, не ограниченный привычной логикой, нашел пару неожиданных для меня статей, почитаю (уж сама)

Похоже, можно пользоваться потихоньку

Кто попробует, делитесь опытом в комментариях, пожалуйста. Очень интересно на разных реальных примерах и запросах. Обучим и свои нейросети, как с этим работать.