Grabi natong gemeini ai 1m na token pwedi mag upload ng files

[kruizer]

So meron nag apply ako ng beta sa aistudio for gemeni and di ko akalain na approve ito nga pala yung bago nilang language model gemini 1.5 and grabi yung token 1m 10x dun sa ibang gemeni model. at marami kang pweding gawin like image creation identifying sound images and. marami pa ito yung documentation You do not have permission to view the full content of this post. Log in or register now.

 

[alist1986]

Nasabi ko nga sa isang thread yan at parati akong pumipila sa waitlists ng mga premiium LLMs.. Pag accepted yung request mo sa waitlist, may 1M token ka to test Gemini Pro 1.5-128k compared sa standard na free Gemini Pro 1.0-32k . Pantapat nila yan sa GPT-4-128, pero merong gma iba silang models sa VertexAI na commercial din. Magandang gamitin yung free api nyan using the 128k LLM sa mismong AI studio para kumpleto ang features. Sulit ka na dyan.
Pero may mas malaking magbigay ng free tokens, yung Deepseek na 10M he he. Generally, ginagamti yan sa coding naman but at par sa GPT4 sa human evaluation for simple chatting. Magaling yan mag-edit/gumawa ng code basta tama yung prompts mo.

 

[kruizer]

Nasabi ko nga sa isang thread yan at parati akong pumipila sa waitlists ng mga premiium LLMs.. Pag accepted yung request mo sa waitlist, may 1M token ka to test Gemini Pro 1.5-128k compared sa standard na free Gemini Pro 1.0-32k . Pantapat nila yan sa GPT-4-128, pero merong gma iba silang models sa VertexAI na commercial din. Magandang gamitin yung free api nyan using the 128k LLM sa mismong AI studio para kumpleto ang features. Sulit ka na dyan.
Pero may mas malaking magbigay ng free tokens, yung Deepseek na 10M he he. Generally, ginagamti yan sa coding naman but at par sa GPT4 sa human evaluation for simple chatting. Magaling yan mag-edit/gumawa ng code basta tama yung prompts mo.

true po magaling po siya sa reasoning at consistent po siya triny kopo ipa summarize yung isang file ko na 16k tokens at pinagawa ng questions based sa file. ang galing niya po hindi repeated yung mga nireresponse niya. compared sa previous niya na model yung gemnini 1 and 1 pro sa studio mas powerful siya. mabilis din response niya

 

[alist1986]

true po magaling po siya sa reasoning at consistent po siya triny kopo ipa summarize yung isang file ko na 16k tokens at pinagawa ng questions based sa file. ang galing niya po hindi repeated yung mga nireresponse niya. compared sa previous niya na model yung gemnini 1 and 1 pro sa studio mas powerful siya. mabilis din response niya

Mabilis nga siya sa tests ko, at siyempre kaya nyang mag-handle ng malalaking files to summarize. Pati mahahabang videos, kaya rin nyang i-summarize. Yan yung malaking advantage sa mga users na gustong magpabasa ng malalaki at maraming files, na di pa bihasang mag-split/truncate ng documents, mag-embed para magamit yung maliliit ang token limit like GPT-3.5-turbo-4k. Less stress dahil maasikasong gawin yon. Sa mga ρrémíùm sites kadalasan provided yung builtin feature na na yan like DocumentAI ng Google or you need to run an app locally from some open-source application using langchain.
Correction (4/26/2024): Mali yung pagkaintindi ko sa 1M (1048576)tokens, yan pala yung input token (context windows) to get a chance to read long documents with output token limit of 8192. Yung nakaraan kasi, ang input token nang unang lumabas yan is 128k. Medyo nagbago na yung kanilang plans ng naabot nila yung 10M input tokens for this gemini model.
Ayos at gumawa ka ng thread, at mas malaki ang tsansa na mapansin yan he he.

 

[alist1986]

Para doon sa gustong magtanong ng rate limits, ito yung latest sa google:
You do not have permission to view the full content of this post. Log in or register now.
You do not have permission to view the full content of this post. Log in or register now.
Yung free gemini-1.0-pro is @60 QPM or RPM ang limit - no mention of limits per day
Yung gemini-1.5-pro-preview is @2 RPM, 32000 TPM, 50 RPD
Yan yung pagkaalam ko sa ngayon.
Basahin ninyo na lang yung terms of service and pay-as-you-go options pagdating ng May 2, 2024.
Ang speculation, mawawala na yung paggamit ng free api (keys), pero gemini pro will remain free using the web api like using the old Bard or similar to OpenAI's ChatGPT. Sulitin ninyo na lang yung paggamit sa AI Studio hanggang dumating yung target date.

 

[EXODUS14]

Pano mag apply for beta test?

 

[alist1986]

Pano mag apply for beta test?

Dati, mag-apply ka sa waitlist, hindi ko alam ngayon. Matagal na kasi yan. Pag more than a month, marami na yung maaaring mangyari. Kung naka-logged in ka sa Google AI Studio, at active sa latest news, makikita mo yung request sa waitlist.
Thru search engine, may nakita akong link para pindutin mo na lang;

Spoiler

Spoiler contents are visible only to Established Members.

Yung 4 na accounts ko, lahat ay merong gp1.5pro kahit sa isa lang ako nag-request noon. Baka open na yan sa public.

 

[EXODUS14]

Dati, mag-apply ka sa waitlist, hindi ko alam ngayon. Matagal na kasi yan. Pag more than a month, marami na yung maaaring mangyari. Kung naka-logged in ka sa Google AI Studio, at active sa latest news, makikita mo yung request sa waitlist.
Thru search engine, may nakita akong link para pindutin mo na lang;

Yung 4 na accounts ko, lahat ay merong gp1.5pro kahit sa isa lang ako nag-request noon. Baka open na yan sa public.

Meron po palanyung akin hehehe

 

[kruizer]

Meron po palanyung akin hehehe

open na yan for public unlock last time. though yung public version na dala sa subscription is only 1m lng na token unlike previously sa beta testing na 10m tokens.

 

[EXODUS14]

open na yan for public unlock last time. though yung public version na dala sa subscription is only 1m lng na token unlike previously sa beta testing na 10m tokens.

Ahh okay po

 

[alist1986]

open na yan for public unlock last time. though yung public version na dala sa subscription is only 1m lng na token unlike previously sa beta testing na 10m tokens.

Isang beses lang ako nag-request sa waitlist at ilang beses ko lang nagamit yang GP-1.5-pro. Mas abala ako sa testing ng AI UIs kaysa sa pag-test ng mga LLM models or plain chatbots he he. Yung UI features kasi ang importante para sa akin para ma-customize yung AI to function properly as well as automating the prompts, using external datasets, tuning the models, etc.

Di ko na namalayan na public na yan. Pero yang GP-1.5-pro grabe ang You do not have permission to view the full content of this post. Log in or register now. talaga. Sa 1M context window sulit ka na. Pag nilabas pa nila yung 10M input token model nila, malaki ang hahabulin ng OpenAI. Marami na rin free Open-LLMs ang +128k na.

Mapapakinabangan yan sa pagbasa ng malalaking documents without splitting, minimize embeddings and use of vector database, etc. Malaking advantage. Pwede sana siyang AI Agent pero sa free na 2RPM, matagal ang processing - pero sulit. Basta ito lang ang sinusunod kong rate limits para matantsiya ko yung processing time kung sakaling gagamitin ko siya ayon sa latest terms nila.

GP-1.5-pro
2 RPM (requests per minute)
32,000 TPM (tokens per minute)
50 RPD (requests per day)

GP-1.0-pro
15 RPM (requests per minute)
32,000 TPM (tokens per minute)
1500 RPD (requests per day)

Kung gusto ko ng real time responses, doon ako sa You do not have permission to view the full content of this post. Log in or register now. (with or even without webchatgpt plugin assistance). Enable ko lang yung real time response sa settings ng app. Sa AI Studio naman yung tasks na hindi nangangailangan ng web access. Para kasi sa starting developers yang free trial features nila dyan. Sulit din as free option na wala sa ibang commercial competitors.

Pero ang best free option to get real time responses with an AI app is using Microsoft Copilot in Microsoft Edge AI browser. As stated. "...Bing Chat is a feature of the Bing search engine that allows users to converse with an AI chatbot instead of typing in search queries. Bing Chat provides intelligent search results, interactive searching, visual exploration, and personalized suggestions. It also has a web browsing feature called Copilot, which takes all the functionality of a traditional web search and adds AI search engine tools...". and it uses a tuned GPT-4-turbo model. Yung mga extra AI features ay lalabas lang sa Edge browser - like reading and summarizing documents like PDF....

 

[alist1986]

Ito yung isang sample minimal project na similar sa pakay ko to use gemini pro to take advantagee of its high context window. As a plain LLM alone , it will not provided high quality results.
You do not have permission to view the full content of this post. Log in or register now.
Wala lang siyang web search+web browsing feature pa , pero "Under the Hood":

Under the Hood​

This system leverages the power of cutting-edge AI models to understand your PDFs and answer your questions:

• Chunking: LangChain splits your PDF into manageable sections for efficient processing.
• Embedding: Each section receives a unique representation using "GeminiEmbeddingFunction" for better understanding.
• Storage and Search: ChromaDB stores these embeddings, enabling rapid retrieval of relevant information.
• Query Expansion: "models/text-bison-001" expands your query to consider various ways it might be phrased.
• Cross-Encoder Re-ranking: "cross-encoder/ms-marco-MiniLM-L-6-v2" prioritizes the most relevant answers.
• Response Generation: "gemini-pro" synthesizes the information into a clear and concise response.

Kaya mas effective yung ilalabas na sagot ni gemini pro using the addons na di kaya ng plain LLM lamang.
Subukan nyong gamitin yan dito sa demo link:

Spoiler

Spoiler contents are visible only to Established Members.

Yung extra use of RAG functionalities increased the quality of its responses. At marami pang pwedeng idagdag dyan to improve an LMM even if you can't add knowledgebase data in it dahil API lang siya - hindi local model na pwede mong dagdagan ng laman. Pero a local model can assist it to reduce token usage. Finetuning, adding web-search and web browsing are the best additions. Medyo advanced na ito, pero this is the way to use the AI to its full advantage.