Ранжирование по релевантностии

RobertDeMilo

Oct 16th, 2023

Never

Add comment

Not a member of Pastebin yet? Sign Up, it unlocks many cool features!

C++ 4.81 KB | None | 0 0

raw download clone embed print report

#include <iostream>
#include <set>
#include <string>
#include <utility>
#include <vector>
#include <algorithm>
using namespace std;
const int MAX_RESULT_DOCUMENT_COUNT = 5;
string ReadLine() {
string s;
getline(cin, s);
return s;
}
int ReadLineWithNumber() {
int result = 0;
cin >> result;
ReadLine();
return result;
}
vector<string> SplitIntoWords(const string& text) {
vector<string> words;
string word;
for (const char c : text) {
if (c == ' ') {
if (!word.empty()) {
words.push_back(word);
word.clear();
}
}
else {
word += c;
}
}
if (!word.empty()) {
words.push_back(word);
}
return words;
}
set<string> ParseStopWords(const string& text) {
set<string> stop_words;
for (const string& word : SplitIntoWords(text)) {
stop_words.insert(word);
}
return stop_words;
}
vector<string> SplitIntoWordsNoStop(const string& text, const set<string>& stop_words) {
vector<string> words;
for (const string& word : SplitIntoWords(text)) {
if (stop_words.count(word) == 0) {
words.push_back(word);
}
}
return words;
}
void AddDocument(vector<pair<int, vector<string>>>& documents, const set<string>& stop_words,
int document_id, const string& document) {
const vector<string> words = SplitIntoWordsNoStop(document, stop_words);
documents.push_back(pair<int, vector<string>>{document_id, words});
}
set<string> ParseQuery(const string& text, const set<string>& stop_words) {
set<string> query_words;
for (const string& word : SplitIntoWordsNoStop(text, stop_words)) {
query_words.insert(word);
}
return query_words;
}
int MatchDocument(const pair<int, vector<string>>& content, const set<string>& query_words) {
if (query_words.empty()) {
return 0;
}
set<string> matched_words;
for (const string& word : content.second) {
if (matched_words.count(word) != 0) {
continue;
}
if (query_words.count(word) != 0) {
matched_words.insert(word);
}
}
// Преобразовываем беззнаковое число типа size_t в int используя
// static_cast<int>
return static_cast<int>(matched_words.size());
}
// old Для каждого документа возвращает его id и релевантность
//vector<pair<int, int>> FindDocuments(const vector<pair<int, vector<string>>>& documents,
// const set<string>& stop_words, const string& query);
// Для каждого документа возвращает его релевантность и id
vector<pair<int, int>> FindAllDocuments(const vector<pair<int, vector<string>>>& documents,
const set<string>& query_words)
{
// Превратите функцию FindDocuments в FindAllDocuments
// Первым элементом возвращаемых пар идёт релевантность документа, а вторым - его id
vector<pair<int, int>> matched_documents;
for (const auto& document : documents) {
const int relevance = MatchDocument(document, query_words);
if (relevance > 0) {
matched_documents.push_back({ relevance, document.first });
}
}
return matched_documents;
}
// Напишите функцию, используя FindAllDocuments
// Возвращает топ-5 самых релевантных документов в виде пар: {id, релевантность}
vector<pair<int, int>> FindTopDocuments(const vector<pair<int, vector<string>>>& documents,
const set<string>& stop_words, const string& raw_query)
{
// {id relevance}
vector<pair<int, int>> result_documents;
const set<string> query_words = ParseQuery(raw_query, stop_words);
vector<pair<int, int>> all_documents = FindAllDocuments(documents, query_words);
// {relevance id}
sort(all_documents.begin(), all_documents.end());
reverse(all_documents.begin(), all_documents.end());
if (all_documents.size() > MAX_RESULT_DOCUMENT_COUNT)
{
all_documents.resize(MAX_RESULT_DOCUMENT_COUNT);
}
for (auto& [rel, id] : all_documents)
{
swap(rel, id);
result_documents.push_back({ rel, id });
}
return result_documents;
}
int main() {
const string stop_words_joined = ReadLine();
const set<string> stop_words = ParseStopWords(stop_words_joined);
// Чтение документов
vector<pair<int, vector<string>>> documents;
const int document_count = ReadLineWithNumber();
for (int document_id = 0; document_id < document_count; ++document_id) {
AddDocument(documents, stop_words, document_id, ReadLine());
}
const string query = ReadLine();
// Вместо FindDocuments используйте FindTopDocuments
for (auto [document_id, relevance] : FindTopDocuments(documents, stop_words, query)) {
cout << "{ document_id = "s << document_id << ", relevance = "s << relevance << " }"s
<< endl;
}
}

Add Comment

Please, Sign In to add comment