1 - First, istall library: transformers beautifulsoup4 requests and openai:
!pip install openai==0.28
!pip install transformers beautifulsoup4 requests
2 - After, declaring libraries necessaries
from transformers import pipeline, BertTokenizerFast, EncoderDecoderModel
import torch
import openai
import requests
from bs4 import BeautifulSoup
3 - Function to prepare our Dataset: in this case ours dataset is URL (https://pt.wikipedia.org/wiki/Microsoft_Office)
def extraindo_texto_da_web(url):
response = requests.get(url)
response.raise_for_status() # Verifica se o request foi bem-sucedido
soup = BeautifulSoup(response.text, 'html.parser')
# Extrai todo o texto visível da página
paragraphs = soup.find_all('p')
text = " ".join([para.get_text() for para in paragraphs])
return text
url = "https://pt.wikipedia.org/wiki/Microsoft_Office"
documento = extraindo_texto_da_web(url)
4 - OpenAI Key
openai.api_key = "Use the your API"
1 - Q & R (Question and Answer): Ideal use this tools in situation that I need to take out doubt in chatbox.
pergunta = input("Make your question: ")
prompt = f"Contexto: {documento}\nPergunta: {pergunta}\nResposta:"
response = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=[
{"role": "system", "content": "Você é um assistente útil."},
{"role": "user", "content": prompt},
],
max_tokens=50,
temperature=0.0
)
# Exibe a resposta da pergunta
resposta = response['choices'][0]['message']['content'].strip()
print(f"Resposta: {resposta}")
2 - Summarize: Ideal use this tools in situation that I need summary big text in small text.
prompt = f"Resuma o seguinte texto de forma concisa:\n{documento}"
# Solicitação para o modelo GPT-3.5-turbo para resumir o texto
response = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=[
{"role": "system", "content": "Você é um assistente que pode resumir textos."},
{"role": "user", "content": prompt},
],
max_tokens=100,
temperature=0.7
)
# Exibe o resumo
resumo = response['choices'][0]['message']['content'].strip()
print(f"Resumo: {resumo}")
3 - Sentiment Analysis: Ideal use this tools in opinions, reviews situations, because it rate in "Positive", "Neutral", "Negative"
# Texto para análise de sentimento
texto = """
Maycon é um cara muito legal, eu amo ele!
"""
# Prompt para análise de sentimento
prompt = f"Classifique o sentimento do seguinte texto como 'Positivo', 'Negativo' ou 'Neutro':\n{texto}"
response = openai.ChatCompletion.create(
model="gpt-3.5-turbo", # Ou "gpt-3.5-turbo" ou outro modelo de chat compatível
messages=[
{"role": "system", "content": "Você é um assistente útil."},
{"role": "user", "content": prompt},
],
max_tokens=60,
temperature=0.0 # Temperatura baixa para respostas diretas
)
# Extrair e exibir o sentimento
sentimento = response['choices'][0]['message']['content'].strip()
print(f"Sentimento: {sentimento}")
There are no datasets linked
There are no datasets linked