Συστήματα Ανάκτησης Πληροφοριών

Συζητήσεις σχετικά με τα μαθήματα Κύκλων και Κατευθύνσεων του τρέχοντος ακαδημαϊκού έτους. Για συζητήσεις παλαιοτέρων ετών κοιτάξτε στην κατηγορία "Παλιές Συζητήσεις "
User avatar
pgetsos
Venus Former Team Member
Posts: 1192
Joined: Sun Oct 13, 2013 1:29 am
Academic status: MSc
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by pgetsos » Mon Nov 07, 2016 1:37 pm

Loop
Όταν μια μαύρη γάτα περάσει από μπροστά σου, σημαίνει ότι το ζώο πάει κάπου.

Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
User avatar
valeia
Kilobyte level
Kilobyte level
Posts: 216
Joined: Sat Dec 21, 2013 5:10 pm
Academic status: N>4
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by valeia » Mon Nov 07, 2016 2:55 pm

Μια ερώτηση ...στον πίνακα μου που θέλω να βάλω το text του τουίτ τι τύπου να βάλω την στήλη μου στη mysql;
User avatar
Code Monkey
byte level
byte level
Posts: 81
Joined: Fri Jan 31, 2014 1:40 pm
Academic status: 3rd year
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by Code Monkey » Mon Nov 07, 2016 3:50 pm

Εγώ έχω βάλει varchar(250)
Code Monkey very simple man
With big warm fuzzy secret heart:
Code Monkey like you
User avatar
pgetsos
Venus Former Team Member
Posts: 1192
Joined: Sun Oct 13, 2013 1:29 am
Academic status: MSc
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by pgetsos » Mon Nov 07, 2016 5:52 pm

Στην αλλαγή σε utf8mb4 varchar(191), δε θυμάμαι τον λόγο
Όταν μια μαύρη γάτα περάσει από μπροστά σου, σημαίνει ότι το ζώο πάει κάπου.

Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
User avatar
valeia
Kilobyte level
Kilobyte level
Posts: 216
Joined: Sat Dec 21, 2013 5:10 pm
Academic status: N>4
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by valeia » Mon Nov 07, 2016 11:51 pm

Περνάω τα δεδομένα του text στην βάση μου, αλλά μάλλον όποτε το κείμενο περιέχει τον χαρακτήρα --> ' <--- μου πετάει exception
αντιμετώπισε κανείς αυτό το θέμα;έχει κανείς καμιά ιδέα;
User avatar
Georgilakis Antonios
Mbyte level
Mbyte level
Posts: 548
Joined: Mon Dec 02, 2013 11:10 pm
Academic status: Alumnus/a
Gender:
Location: Straight into your Mind

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by Georgilakis Antonios » Tue Nov 08, 2016 12:47 am

valeia wrote:Περνάω τα δεδομένα του text στην βάση μου, αλλά μάλλον όποτε το κείμενο περιέχει τον χαρακτήρα --> ' <--- μου πετάει exception
αντιμετώπισε κανείς αυτό το θέμα;έχει κανείς καμιά ιδέα;
Πρέπει να κάνεις escape αυτόν τον χαρακτήρα πριν περάσεις το κείμενο στην βάση.

Αυτά τα links μπορεί να φανούν χρήσιμα: (και ίσως περισσότερο το πρώτο)
http://stackoverflow.com/questions/1519 ... -from-java
http://stackoverflow.com/questions/9596 ... e-in-mysql
http://stackoverflow.com/questions/8870 ... s-in-mysql
"Always keep a low profile. Cause when you get high, things can become strange."
"Never stop doing things you like. Never stop loving people you love. Never give up. Believe in yourself. Believe in your hidden powers."
"Honesty is an expensive gift, so don't expect it from cheap people."
The Scientist
User avatar
valeia
Kilobyte level
Kilobyte level
Posts: 216
Joined: Sat Dec 21, 2013 5:10 pm
Academic status: N>4
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by valeia » Tue Nov 08, 2016 1:20 am

Georgilakis Antonios wrote:
valeia wrote:Περνάω τα δεδομένα του text στην βάση μου, αλλά μάλλον όποτε το κείμενο περιέχει τον χαρακτήρα --> ' <--- μου πετάει exception
αντιμετώπισε κανείς αυτό το θέμα;έχει κανείς καμιά ιδέα;
Πρέπει να κάνεις escape αυτόν τον χαρακτήρα πριν περάσεις το κείμενο στην βάση.

Αυτά τα links μπορεί να φανούν χρήσιμα: (και ίσως περισσότερο το πρώτο)
http://stackoverflow.com/questions/1519 ... -from-java
http://stackoverflow.com/questions/9596 ... e-in-mysql
http://stackoverflow.com/questions/8870 ... s-in-mysql
Έγινε, σε ευχαριστώ θα τα κοιτάξω!
User avatar
pgetsos
Venus Former Team Member
Posts: 1192
Joined: Sun Oct 13, 2013 1:29 am
Academic status: MSc
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by pgetsos » Tue Nov 08, 2016 1:23 am

Γενικά να τα περνάς με prepared statement που είναι πολύ πιο γρήγορο σε εκτέλεση σε batches και με αυτόματο escaping (Δεν είδα τα λινκ αν το αναφέρουν :) )
Όταν μια μαύρη γάτα περάσει από μπροστά σου, σημαίνει ότι το ζώο πάει κάπου.

Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
User avatar
Georgilakis Antonios
Mbyte level
Mbyte level
Posts: 548
Joined: Mon Dec 02, 2013 11:10 pm
Academic status: Alumnus/a
Gender:
Location: Straight into your Mind

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by Georgilakis Antonios » Tue Nov 08, 2016 1:45 am

1ο link, πρώτη απάντηση στο StackOverflow. :-D
"Always keep a low profile. Cause when you get high, things can become strange."
"Never stop doing things you like. Never stop loving people you love. Never give up. Believe in yourself. Believe in your hidden powers."
"Honesty is an expensive gift, so don't expect it from cheap people."
The Scientist
User avatar
Code Monkey
byte level
byte level
Posts: 81
Joined: Fri Jan 31, 2014 1:40 pm
Academic status: 3rd year
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by Code Monkey » Tue Nov 08, 2016 5:26 pm

Ποσα tweets περίπου σας επιστρέφει για το α ερώτημα ρε παιδια;
Code Monkey very simple man
With big warm fuzzy secret heart:
Code Monkey like you
User avatar
pgetsos
Venus Former Team Member
Posts: 1192
Joined: Sun Oct 13, 2013 1:29 am
Academic status: MSc
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by pgetsos » Thu Nov 10, 2016 7:37 am

~70 ND, 400 SYRIZA
Όταν μια μαύρη γάτα περάσει από μπροστά σου, σημαίνει ότι το ζώο πάει κάπου.

Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
User avatar
valeia
Kilobyte level
Kilobyte level
Posts: 216
Joined: Sat Dec 21, 2013 5:10 pm
Academic status: N>4
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by valeia » Sat Nov 12, 2016 1:38 am

Μια ερώτηση παιδιά, που χρησιμοποιώ mysql βάση...προσπάθησα να κάνω insert τις τιμές που ηθελα where not exists(select id from table ) αλλά δεν εκτελείται αυτό...καμιά ιδέα πως να αποφύγω τα διπλότυπα?
User avatar
Georgilakis Antonios
Mbyte level
Mbyte level
Posts: 548
Joined: Mon Dec 02, 2013 11:10 pm
Academic status: Alumnus/a
Gender:
Location: Straight into your Mind

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by Georgilakis Antonios » Sat Nov 12, 2016 1:40 am

valeia wrote:Μια ερώτηση παιδιά, που χρησιμοποιώ mysql βάση...προσπάθησα να κάνω insert τις τιμές που ηθελα where not exists(select id from table ) αλλά δεν εκτελείται αυτό...καμιά ιδέα πως να αποφύγω τα διπλότυπα?
Κάνε primary key το ID του tweet:

Code: Select all

-- [Inside table ...]

id	BIGINT	NOT NULL		-- ID's are large numbers.

-- [...]

CONSTRAINT PK_id
	PRIMARY KEY (id)

-- [...]
Αν δεν κάνω λάθος, το JDBC API θα ρίξει exception αν εισάγεις δεύτερο tweet με το ίδιο ID.
"Always keep a low profile. Cause when you get high, things can become strange."
"Never stop doing things you like. Never stop loving people you love. Never give up. Believe in yourself. Believe in your hidden powers."
"Honesty is an expensive gift, so don't expect it from cheap people."
The Scientist
User avatar
valeia
Kilobyte level
Kilobyte level
Posts: 216
Joined: Sat Dec 21, 2013 5:10 pm
Academic status: N>4
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by valeia » Sat Nov 12, 2016 1:13 pm

Georgilakis Antonios wrote:
valeia wrote:Μια ερώτηση παιδιά, που χρησιμοποιώ mysql βάση...προσπάθησα να κάνω insert τις τιμές που ηθελα where not exists(select id from table ) αλλά δεν εκτελείται αυτό...καμιά ιδέα πως να αποφύγω τα διπλότυπα?
Κάνε primary key το ID του tweet:

Code: Select all

-- [Inside table ...]

id	BIGINT	NOT NULL		-- ID's are large numbers.

-- [...]

CONSTRAINT PK_id
	PRIMARY KEY (id)

-- [...]
Αν δεν κάνω λάθος, το JDBC API θα ρίξει exception αν εισάγεις δεύτερο tweet με το ίδιο ID.
Το σκεφτηκα αυτό, αλλά αν πετάξει exception θα συνεχίζει να βάζει τα υπόλοιπα;
User avatar
Code Monkey
byte level
byte level
Posts: 81
Joined: Fri Jan 31, 2014 1:40 pm
Academic status: 3rd year
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by Code Monkey » Sat Nov 12, 2016 1:23 pm

Μπορείς να κάνεις INSERT IGNORE για να αγνοεί τα error και να συνεχίζει στα υπόλοιπα
Code Monkey very simple man
With big warm fuzzy secret heart:
Code Monkey like you
User avatar
valeia
Kilobyte level
Kilobyte level
Posts: 216
Joined: Sat Dec 21, 2013 5:10 pm
Academic status: N>4
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by valeia » Sat Nov 12, 2016 4:29 pm

Code Monkey wrote:Μπορείς να κάνεις INSERT IGNORE για να αγνοεί τα error και να συνεχίζει στα υπόλοιπα
Όντως δουλεύει ευχαριστώ πολύ!
jennaki123
byte level
byte level
Posts: 59
Joined: Wed Oct 23, 2013 4:50 pm
Academic status: 4th year
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by jennaki123 » Sat Nov 12, 2016 5:59 pm

Καλησπερα παιδια! :)
Για την εργασια αποφασισα να χρησιμοποιησω το rest api και ειμαι στην πρωτη φαση της συλλογης δεδομενων. Για να μαζεψουμε δεδομενα
σε διαστημα μιας εβδομαδας θα πρεπει να χρησιμοποιησουμε date απο μια ημερομηνια σε καποια αλλη?
User avatar
Georgilakis Antonios
Mbyte level
Mbyte level
Posts: 548
Joined: Mon Dec 02, 2013 11:10 pm
Academic status: Alumnus/a
Gender:
Location: Straight into your Mind

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by Georgilakis Antonios » Sat Nov 12, 2016 6:10 pm

valeia wrote:
Code Monkey wrote:Μπορείς να κάνεις INSERT IGNORE για να αγνοεί τα error και να συνεχίζει στα υπόλοιπα
Όντως δουλεύει ευχαριστώ πολύ!
Εναλλακτικά θα μπορούσες να κάνεις πρώτα:

Code: Select all

SELECT COUNT(id) FROM table WHERE id = 247482389938	-- Π.χ.
για να δεις αν το tweet υπάρχει στην βάση και αν όχι, μπορείς να κάνεις insert.

Έτσι δεν θα χάσεις και άλλα, ενδεχομένως, errors που μπορεί να ρίξει το DBMS ως server κατά το insert, όπως αν έκανες ignore errors.
jennaki123 wrote:Καλησπερα παιδια! :)
Για την εργασια αποφασισα να χρησιμοποιησω το rest api και ειμαι στην πρωτη φαση της συλλογης δεδομενων. Για να μαζεψουμε δεδομενα
σε διαστημα μιας εβδομαδας θα πρεπει να χρησιμοποιησουμε date απο μια ημερομηνια σε καποια αλλη?
Απλά ξεκίνα μια συγκεκριμένη μέρα να μαζεύεις tweets, και διέκοψε την διαδικασία μια εβδομάδα μετά.
Αυτό έχω καταλάβει εγώ τουλάχιστον.
"Always keep a low profile. Cause when you get high, things can become strange."
"Never stop doing things you like. Never stop loving people you love. Never give up. Believe in yourself. Believe in your hidden powers."
"Honesty is an expensive gift, so don't expect it from cheap people."
The Scientist
User avatar
pgetsos
Venus Former Team Member
Posts: 1192
Joined: Sun Oct 13, 2013 1:29 am
Academic status: MSc
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by pgetsos » Sat Nov 12, 2016 7:05 pm

Εγώ νομίζω έβαλα on duplicate update id η κάτι παρόμοιο
Όταν μια μαύρη γάτα περάσει από μπροστά σου, σημαίνει ότι το ζώο πάει κάπου.

Μην αφήνεις τα μικρά μυαλά να σε πείσουν ότι τα όνειρα σου είναι πολύ μεγάλα.
jennaki123
byte level
byte level
Posts: 59
Joined: Wed Oct 23, 2013 4:50 pm
Academic status: 4th year
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by jennaki123 » Sat Nov 12, 2016 7:36 pm

Georgilakis Antonios wrote: Απλά ξεκίνα μια συγκεκριμένη μέρα να μαζεύεις tweets, και διέκοψε την διαδικασία μια εβδομάδα μετά.
Αυτό έχω καταλάβει εγώ τουλάχιστον.
Μηπως εχεις βρει καποιο λινκ σχετικο; γιατι δεν εχω καταλαβει ακριβως πως γινεται..
User avatar
Georgilakis Antonios
Mbyte level
Mbyte level
Posts: 548
Joined: Mon Dec 02, 2013 11:10 pm
Academic status: Alumnus/a
Gender:
Location: Straight into your Mind

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by Georgilakis Antonios » Sat Nov 12, 2016 8:34 pm

jennaki123 wrote:
Georgilakis Antonios wrote: Απλά ξεκίνα μια συγκεκριμένη μέρα να μαζεύεις tweets, και διέκοψε την διαδικασία μια εβδομάδα μετά.
Αυτό έχω καταλάβει εγώ τουλάχιστον.
Μηπως εχεις βρει καποιο λινκ σχετικο; γιατι δεν εχω καταλαβει ακριβως πως γινεται..
Δες τις παραμέτρους σε αυτή την σελίδα:
https://dev.twitter.com/rest/reference/ ... rch/tweets

Twitter API for JAVA: http://twitter4j.org/en/index.html
Twitter API for Python: https://github.com/bear/python-twitter
Twitter API for PHP: https://github.com/abraham/twitteroauth

Ξεκινάς το search απλά με τις απαραίτητες παραμέτρους, χωρίς ημερομηνία, και επαναλαμβάνεις για μια εβδομάδα το ίδιο, με το ίδιο keyword.

EDIT: Προσοχή στην χρήση του keyword, ο καθηγητής επιθυμεί αφαίρεση των retweets.
"Always keep a low profile. Cause when you get high, things can become strange."
"Never stop doing things you like. Never stop loving people you love. Never give up. Believe in yourself. Believe in your hidden powers."
"Honesty is an expensive gift, so don't expect it from cheap people."
The Scientist
User avatar
valeia
Kilobyte level
Kilobyte level
Posts: 216
Joined: Sat Dec 21, 2013 5:10 pm
Academic status: N>4
Gender:

Re: Συστήματα Ανάκτησης Πληροφοριών

Post by valeia » Mon Nov 14, 2016 9:17 pm

Καλησπέρα παιδιά, έχω ένα θεματάκι με την εκφώνηση(πολλά αλλά anyway)...δεν καταλαβαίνω ...πρέπει να μαζέψουμε τα ποστς που αφορούν συριζα και νεα δημοκρατια; να δοκιμασουμε πολλα hashtags για καθε κομμα; και να μην υπάρχουν και τα 2 κομματα μαζι? Βοηθήστε πλιζ γιατί :smt013 :smt021
Post Reply

Return to “Μαθήματα Κύκλων και Κατευθύνσεων”