Turbit publie une étude sur la réponse aux questions de l’IA pour les opérations éoliennes

Turbit a publié une recherche portant sur un Défi fondamental dans les opérations éoliennes : extraire des réponses fiables de grands ensembles de rapports techniques récurrents. L’article, « PluriHop – Exhaustif, L’assurance qualité sensible au rappel sur des corpus riches en distracteurs démontre un système d’IA qui permet d’obtenir jusqu’à 52 % d’amélioration relative par rapport aux approches standard en réponse précision, bien que la performance absolue indique une marge de manœuvre importante pour continuer recherche.

La recherche, menée par Mykolas Sveistrys et le Dr Richard Kunert de Turbit Systems GmbH, présentent et officialise une nouvelle catégorie de questions qui nécessitent des informations complètes de la part de ensembles de documents entiers : lorsqu’il n’y a pas un seul rapport pertinent Réponse incorrecte. Les résultats sont maintenant disponibles sur arXiv.

Génération augmentée par récupération de courant Les systèmes (RAG) récupèrent généralement 10 à 20 documents et s’arrêtent. Cette approche fonctionne lorsque les questions ont des points d’arrêt clairs, mais échouent lorsque chaque document d’un Le corpus peut contenir des informations pertinentes. Il en résulte des réponses incomplètes sur lesquels les opérateurs ne peuvent pas s’appuyer pour les décisions opérationnelles ou financières.

L’équipe de recherche a inventé le terme « questions pluri-sauts » pour décrire les requêtes qui sont :

• Sensible au rappel : omettre un Le document concerné produit une réponse incorrecte
  
• Exhaustif : tous les documents doivent être contrôlé ; il n’y a pas de condition d’arrêt
  
• Exact : il y en a un correct réponse, pas une gamme d’interprétations valides
  

Cette catégorie est distincte du multi-saut questions (lorsque les preuves s’étendent sur quelques documents) et les tâches de synthèse (où les réponses approximatives sont acceptables). Les questions pluri-hop sont courantes dans secteurs d’activité qui génèrent des rapports récurrents : carnets de maintenance, conformité dépôts, résultats de laboratoire et dossiers d’inspection.

Pour étudier ce problème, l’équipe a créé PluriHopWIND : 48 questions basées sur 191 rapports techniques réels issus de l’éolien opérations, y compris les rapports d’analyse d’huile, les inspections de turbines et l’entretien journaux en allemand et en anglais.

La principale caractéristique de l’ensemble de données est élevée répétitivité. Les activités éoliennes génèrent des milliers de rapports similaires chaque mois inspections selon le même modèle, documentation de service récurrente, et résultats d’essais normalisés. Cela crée des quantités importantes de Des documents similaires mais non pertinents qui compliquent la recherche.

Utilisation d’une mesure de répétitivité basée sur similitude inter-documents, la recherche démontre que PluriHopWIND est de 8 à 40 % plus répétitif que les benchmarks multi-sauts existants. Ce distracteur plus élevé reflète mieux les défis pratiques que pose la réponse aux questions données opérationnelles.

L’article présente PluriHopRAG, un Architecture de récupération conçue pour répondre à des questions sensibles au rappel. Le L’approche consiste à vérifier tous les documents, mais à filtrer les éléments non pertinents avant Inférence de modèle de langage coûteuse.

Le système met en œuvre deux méthodes :

Ruptures de décomposition de requête au niveau du document requêtes complexes en sous-questions spécifiques à un document. Plutôt que de demander « A les dommages causés aux pales sont en baisse ? rapport : « Cela couvre-t-il l’éolienne concernée ? », « Qu’est-ce que l’inspection date ? » et « Quels dommages à la lame ont été enregistrés ? » Cela correspond à la façon dont les informations existe réellement dans les rapports opérationnels.

Document d’estimations de filtrage inter-encodeurs Pertinence à l’aide d’un modèle léger avant le raisonnement d’un modèle de langage complet Survient. Cela réduit les coûts de calcul tout en maintenant un rappel élevé de documents pertinents.

Sur le benchmark PluriHopWIND, PluriHopRAG a obtenu une amélioration relative de 18 à 52 % des scores F1 par rapport au RAG standard approches, en fonction du modèle de langage de base. Il a également surpassé GraphRAG et les systèmes RAG multimodaux.

Cette recherche a été menée dans le cadre de l' Le développement par Turbit de l’assistant Turbit, un système d’IA qui extrait informations provenant de rapports techniques et automatise l’analyse de routine. Les méthodes démontré dans PluriHopRAG améliorer directement la capacité de l’Assistant à fournir Des réponses fiables issues de la documentation opérationnelle.

Le document indique que les approches actuelles, y compris PluriHopRAG, atteindre au plus 40-47 % de score F1 sur le point de référence. Bien que PluriHopRAG montre une amélioration significative par rapport à la ligne de base et méthodes concurrentes, notent les auteurs, cela laisse une marge de manœuvre considérable pour l’avenir Améliorations. Les performances absolues relativement modestes mettent en évidence la difficulté de la tâche question-réponse pluri-saut et indique que cela reste un domaine actif nécessitant des recherches continues.

La recherche formalise les questions pluri-sauts en tant que catégorie distincte nécessitant des stratégies d’extraction différentes de celles Tâches conventionnelles à sauts multiples ou de synthèse. Le benchmark PluriHopWIND, avec Sa forte densité de distracteurs basée sur des données réelles de l’industrie éolienne, expose le courant les limites des systèmes de questions-réponses par l’IA lors de la gestion de rapports récurrents Corpus.

L’architecture PluriHopRAG démontre qu’une recherche exhaustive combinée à un filtrage efficace peut fournir des améliorations mesurables par rapport aux approches standard. Cependant, des performances absolues indiquent qu’il reste d’importantes possibilités de faire progresser les méthodes dans ce domaine. domaine. Pour les secteurs basés sur des données de rapport récurrentes, y compris l’énergie éolienne, soins de santé, finance et conformité, ces résultats constituent une base pour construire des systèmes d’IA plus fiables tout en reconnaissant la complexité de la défi.

À mesure que les parcs éoliens se développent et que les données opérationnelles les volumes augmentent, le défi de la question-réponse pluri-hop devient de plus en plus pertinent pour le maintien d’opérations fiables et efficaces.

Lire l’article complet : PluriHop – Exhaustif, Recall-Sensitive QA over Distractor-Rich Corpora de Mykolas Sveistrys et Dr. Richard Kunert, disponible sur arXiv.