How to use ChatGPT without Internet for PC

[pyxl]

free-to-use, locally running, privacy-aware chatbot. No GPU or internet required.

You do not have permission to view the full content of this post. Log in or register now.

 

[ZummerSoltice]

Whats the difference nito sa may net?same lang ba din ng answers?how about sa errors?

 

[pyxl]

Whats the difference nito sa may net?same lang ba din ng answers?

Ang pagkakaalam ko po same lng sila nung online gpt magagamit mo lng sya ng offline. Try nyo po mag join sa dìsçórd nila ksi d ko pa sya gano na explore

 

[ZummerSoltice]

Ang pagkakaalam ko po same lng sila nung online gpt magagamit mo lng sya ng offline. Try nyo po mag join sa dìsçórd nila ksi d ko pa sya gano na explore

Okay okay po salamat

 

[LordCED]

Wow pa try boss

 

[magz08]

salamat ts

 

[wilarson23]

salamat paps

 

[Gilgamesh1998]

patry ako nito ts mamats

 

[zmxn]

patry din po ako salamatss

 

[PHC - MRX]

Pa test boss, salamat po

 

[Tallap]

spoiler ako, kailangan ko talaga gpt without internet!

 

[usmaj]

patry lods

 

[RheyViews]

pa try paps

 

[Ronann11]

Gusto ko e try sayang di pa established

 

[alist1986]

Isa yan sa mga opensource LLM GUI para makagamit ng text generating AI offline na nakalista dito:
You do not have permission to view the full content of this post. Log in or register now.
Ang maganda sa GPT4ALL supported niya yung paggamit nyan in CPU-mode (kung wala kayong GPU) kaya yung RAM requirement na lang ang inyong intindihin ayon sa compatible model na kaya ng pc ninyo. Yung CPU at GPU mode ay gagana side-by-side automatically kung meron kayong mga hardware na yan at required runtime libraries and dependencies. Sa GPU-mode ay VRAM rin ang kailangan. Basahin ninyo yung documentation/FAQ para malinat at maayos ang paggamit ninyo nyan. Siyempre, kung mahina cpu ninyo at maliit ang ram, mabagal yan and vice versa - at least free offline. Kung gagamit kayo ng malaking model na mataas ang RAM o VRAM requirement, siguraduhin ninyong kaya ng hardware ninyo. Yung inference speed at performance nyan sa pinili ninyong mode ang magdidikta sa models na gagamitin ninyo ayon sa hardware na gamit ninyo - so to speak!
Ang alam ko pang requirement nyan ay AVX or AVX2 supported cpu bukod sa RAM (cpu) at the least. AT yung nakalagay na ram requirement means "available" ram in real time. (Dati kasi ay hiwalay ang builds ng AVX at AVX2 installer, pero di ako sure sa ngayong releases. Magbibigay ng warning yan kung di pasok ang hardware ninyo.)
Pwede rin yan gamitin using CLI or via CMD line.
Visit their dev site: You do not have permission to view the full content of this post. Log in or register now.
Check nyo na lang sa Open LLM Leaderboards kung ano yung rank or elo rating ng GPT/LLM na gagamitin ninyo.
Ex. You do not have permission to view the full content of this post. Log in or register now.

Kung gusto ninyong mag-sample test sa mga GPT4ALL models, hanapin ninyo na lang sa Huggingface Spaces yung demo server ng bawat models nyan.]
Ex.
You do not have permission to view the full content of this post. Log in or register now.
Or, check nyo dito sa link sa baba kung may spaces na running sa models na included sa link:
You do not have permission to view the full content of this post. Log in or register now.

 

[pyxl]

Isa yan sa mga opensource LLM GUI para makagamit ng text generating AI offline na nakalista dito:
You do not have permission to view the full content of this post. Log in or register now.
Ang maganda sa GPT4ALL supported niya yung paggamit nyan in CPU-mode (kung wala kayong GPU) kaya yung RAM requirement na lang ang inyong intindihin ayon sa compatible model na kaya ng pc ninyo. Yung CPU at GPU mode ay gagana side-by-side automatically kung meron kayong mga hardware na yan at required runtime libraries and dependencies. Sa GPU-mode ay VRAM rin ang kailangan. Basahin ninyo yung documentation/FAQ para malinat at maayos ang paggamit ninyo nyan. Siyempre, kung mahina cpu ninyo at maliit ang ram, mabagal yan and vice versa - at least free offline. Kung gagamit kayo ng malaking model na mataas ang RAM o VRAM requirement, siguraduhin ninyong kaya ng hardware ninyo. Yung inference speed at performance nyan sa pinili ninyong mode ang magdidikta sa models na gagamitin ninyo ayon sa hardware na gamit ninyo - so to speak!
Ang alam ko pang requirement nyan ay AVX or AVX2 supported cpu bukod sa RAM (cpu) at the least. AT yung nakalagay na ram requirement means "available" ram in real time. (Dati kasi ay hiwalay ang builds ng AVX at AVX2 installer, pero di ako sure sa ngayong releases. Magbibigay ng warning yan kung di pasok ang hardware ninyo.)
Pwede rin yan gamitin using CLI or via CMD line.
Visit their dev site: You do not have permission to view the full content of this post. Log in or register now.
Check nyo na lang sa Open LLM Leaderboards kung ano yung rank or elo rating ng GPT/LLM na gagamitin ninyo.
Ex. You do not have permission to view the full content of this post. Log in or register now.

Kung gusto ninyong mag-sample test sa mga GPT4ALL models, hanapin ninyo na lang sa Huggingface Spaces yung demo server ng bawat models nyan.]
Ex.
You do not have permission to view the full content of this post. Log in or register now.
Or, check nyo dito sa link sa baba kung may spaces na running sa models na included sa link:
You do not have permission to view the full content of this post. Log in or register now.

Thanks sa info

 

[PHC-DarkJaVa]

sino nakapag try nito? mas accurate ba yung result? baka kasi mas better at accurate ang answer sa online.

 

[alist1986]

sino nakapag try nito? mas accurate ba yung result? baka kasi mas better at accurate ang answer sa online.

Ang accuracy, depende sa topic ng query at model used. Merong mga LLM/GPT na halos umabot na sa GPT3-3.5 ang antas sa isang area ng knowledge pero sa iba ay mababa. Yang offline GPTs ay maliit ang data parameters, datasets at token parameters kaya natural ay hindi yan aabot ang antas sa 175 billion parameters sa kahit unang version ng free GPT 3.5 o kahit kay Davinci model ng OpenAI. Check ninyo sa benchmarks ng mga LLM kung saan sila may advantage. Habang lumalaki yung data parameters, datasets at token limits ng models, mas mataas malamang ang antas ng knowledge nila in general. Pero kailangan mo ng mas mataas na hardware requirement to run it offline - higher RAM or GPU with high VRAM. Sa mas malalaking models supported ng GPT4ALL client outside its site from Meta like LLAMA2, RedPajama, Mosaic's MPT, etc., a high-end GPU is needed including higher CPU/RAM requirement as well. Sa ngayon, yung open source LLAMA2 70B (by Meta) at Mixtral 8x7B (by Mistral) ang halos pumantay sa tests vs GPT3.5.

kaya lang, bago ninyo magamit yan sa GPT4ALL ay i-convert nyo pa siya sa GPT4ALL format to work in the client. Example lang yan dahil marami rin LLMs ang nag-improve na sa ilang buwang pag-release nila.

Offline use at hindi AI accuracy ang prime purpose ng GPT4ALL (though a must for some) dahil GUI lang yan. Accuracy depends on the model you use as long as your PC can handle it. Depende rin rin kung saan trained yung model na gagam,tin ninyo. Check ninyo sa main site yung description ng models na recommended nila. Yan yung kanilang pambato ngayon. Kung gusto ninyo pang gumaling yung model, i-train ninyo.) Hanapin ninyo rito yung specific benchmark ng GPT4ALL models:
You do not have permission to view the full content of this post. Log in or register now.

Malaki na pinagbago nito since na-test ko last April. Stable na siyang gamitin ngayon pero limited ako sa model selection dahil mabagal siya sa malalaking models. Mistral and Falcon models are decent to use. Decent sila sumagot for general knowledge. Meron dyan good for coding din, uncernsored, mabilis mag-isip, mabagal sumagot, etc. - may kanya-kanyang personalities. Read the documentation! Noong araw, yung "Groovy" model lang yung decent na maliit na model for trial use he he.

 

[alist1986]

Check nyo rin dito kung may magagamit kayong ibang LLM models na comaptible sa GPT4ALL or else gamitin ninyo yung oobabooga web ui.
You do not have permission to view the full content of this post. Log in or register now.
Yung mga dating guamit na ng GPT4ALL using the old GGML fromat sa models, you can convert it to the GGUF (llama.cpp) format by reading here:

You do not have permission to view the full content of this post. Log in or register now.
Para ito sa mahihilig sa NSFW at Ùn*énsøréd versions. Marami dyan ay purely trained for that ellicit purpose use by ones you see online he he.
Gamitin nyo ito para pwede nyo siyang kausapin na lang imbis na mag-type pa.
You do not have permission to view the full content of this post. Log in or register now.
Ang problema nyo na lang ay voice recognition and detection, STT/TTS, etc,,,
Good Luck.

 

[shelovesbigcats]

Thanks