feat: add sources to retrieve news and divide the IA reflexions in 2 steps to limit the number of news

backend/internal/ai/pipeline.go

@@ -3,6 +3,7 @@ package ai
 import (
 	"context"
 	"fmt"
+	"regexp"
 	"strconv"
 	"strings"
 	"time"
@@ -31,7 +32,6 @@ func NewPipeline(repo *models.Repository, enc *crypto.Encryptor) *Pipeline {
 	return &Pipeline{repo: repo, enc: enc}
 }
 
-// BuildProvider instancie un provider à partir de ses paramètres
 func (p *Pipeline) BuildProvider(name, apiKey, endpoint string) (Provider, error) {
 	provider, err := p.repo.GetActiveAIProvider()
 	if err != nil {
@@ -44,9 +44,7 @@ func (p *Pipeline) BuildProvider(name, apiKey, endpoint string) (Provider, error
 	return NewProvider(name, apiKey, model, endpoint)
 }
 
-// GenerateForUser génère un résumé personnalisé pour un utilisateur
 func (p *Pipeline) GenerateForUser(ctx context.Context, userID string) (*models.Summary, error) {
-	// Récupérer le provider actif
 	providerCfg, err := p.repo.GetActiveAIProvider()
 	if err != nil {
 		return nil, fmt.Errorf("get active provider: %w", err)
@@ -68,7 +66,6 @@ func (p *Pipeline) GenerateForUser(ctx context.Context, userID string) (*models.
 		return nil, fmt.Errorf("build provider: %w", err)
 	}
 
-	// Récupérer la watchlist de l'utilisateur (pour le contexte IA uniquement)
 	assets, err := p.repo.GetUserAssets(userID)
 	if err != nil {
 		return nil, fmt.Errorf("get user assets: %w", err)
@@ -78,7 +75,6 @@ func (p *Pipeline) GenerateForUser(ctx context.Context, userID string) (*models.
 		symbols[i] = a.Symbol
 	}
 
-	// Récupérer TOUS les articles récents, toutes sources confondues
 	hoursStr, _ := p.repo.GetSetting("articles_lookback_hours")
 	hours, _ := strconv.Atoi(hoursStr)
 	if hours == 0 {
@@ -98,16 +94,21 @@ func (p *Pipeline) GenerateForUser(ctx context.Context, userID string) (*models.
 	if maxArticles == 0 {
 		maxArticles = 50
 	}
+
+	// Passe 1 : filtrage par pertinence sur les titres si trop d'articles
 	if len(articles) > maxArticles {
-		articles = articles[:maxArticles]
+		fmt.Printf("pipeline: %d articles → filtering to %d via AI\n", len(articles), maxArticles)
+		articles = p.filterByRelevance(ctx, provider, symbols, articles, maxArticles)
+		fmt.Printf("pipeline: %d articles retained after filtering\n", len(articles))
 	}
 
 	systemPrompt, _ := p.repo.GetSetting("ai_system_prompt")
 	if systemPrompt == "" {
 		systemPrompt = DefaultSystemPrompt
 	}
-	prompt := buildPrompt(systemPrompt, symbols, articles)
 
+	// Passe 2 : résumé complet
+	prompt := buildPrompt(systemPrompt, symbols, articles)
 	summary, err := provider.Summarize(ctx, prompt)
 	if err != nil {
 		return nil, fmt.Errorf("AI summarize: %w", err)
@@ -116,7 +117,77 @@ func (p *Pipeline) GenerateForUser(ctx context.Context, userID string) (*models.
 	return p.repo.CreateSummary(userID, summary, &providerCfg.ID)
 }
 
-// GenerateForAll génère les résumés pour tous les utilisateurs ayant une watchlist
+// filterByRelevance demande à l'IA de sélectionner les articles les plus pertinents
+// en ne lui envoyant que les titres (prompt très court = rapide).
+func (p *Pipeline) filterByRelevance(ctx context.Context, provider Provider, symbols []string, articles []models.Article, max int) []models.Article {
+	prompt := buildFilterPrompt(symbols, articles, max)
+	response, err := provider.Summarize(ctx, prompt)
+	if err != nil {
+		fmt.Printf("pipeline: filter AI call failed (%v), falling back to truncation\n", err)
+		return articles[:max]
+	}
+
+	indices := parseIndexArray(response, len(articles))
+	if len(indices) == 0 {
+		fmt.Printf("pipeline: could not parse filter response, falling back to truncation\n")
+		return articles[:max]
+	}
+
+	filtered := make([]models.Article, 0, len(indices))
+	for _, i := range indices {
+		filtered = append(filtered, articles[i])
+		if len(filtered) >= max {
+			break
+		}
+	}
+	return filtered
+}
+
+func buildFilterPrompt(symbols []string, articles []models.Article, max int) string {
+	var sb strings.Builder
+	sb.WriteString("Tu es un assistant de trading financier. ")
+	sb.WriteString(fmt.Sprintf("Parmi les %d articles ci-dessous, sélectionne les %d plus pertinents pour un trader actif.\n", len(articles), max))
+
+	if len(symbols) > 0 {
+		sb.WriteString("Actifs surveillés (priorité haute) : ")
+		sb.WriteString(strings.Join(symbols, ", "))
+		sb.WriteString("\n")
+	}
+
+	sb.WriteString(fmt.Sprintf("\nRéponds UNIQUEMENT avec un tableau JSON des indices sélectionnés (base 0), exemple : [0, 3, 7, 12]\n"))
+	sb.WriteString("N'ajoute aucun texte avant ou après le tableau JSON.\n\n")
+	sb.WriteString("Articles :\n")
+
+	for i, a := range articles {
+		sb.WriteString(fmt.Sprintf("[%d] %s (%s)\n", i, a.Title, a.SourceName))
+	}
+
+	return sb.String()
+}
+
+var jsonArrayRe = regexp.MustCompile(`\[[\d\s,]+\]`)
+
+func parseIndexArray(response string, maxIndex int) []int {
+	match := jsonArrayRe.FindString(response)
+	if match == "" {
+		return nil
+	}
+	match = strings.Trim(match, "[]")
+	parts := strings.Split(match, ",")
+
+	seen := make(map[int]bool)
+	var indices []int
+	for _, p := range parts {
+		n, err := strconv.Atoi(strings.TrimSpace(p))
+		if err != nil || n < 0 || n >= maxIndex || seen[n] {
+			continue
+		}
+		seen[n] = true
+		indices = append(indices, n)
+	}
+	return indices
+}
+
 func (p *Pipeline) GenerateForAll(ctx context.Context) error {
 	users, err := p.repo.ListUsers()
 	if err != nil {