free-to-use, locally running, privacy-aware chatbot. No GPU or internet required.
You do not have permission to view the full content of this post. Log in or register now.
Ang pagkakaalam ko po same lng sila nung online gpt magagamit mo lng sya ng offline. Try nyo po mag join sa dìsçórd nila ksi d ko pa sya gano na exploreWhats the difference nito sa may net?same lang ba din ng answers?
Okay okay po salamatAng pagkakaalam ko po same lng sila nung online gpt magagamit mo lng sya ng offline. Try nyo po mag join sa dìsçórd nila ksi d ko pa sya gano na explore
Thanks sa infoIsa yan sa mga opensource LLM GUI para makagamit ng text generating AI offline na nakalista dito:
You do not have permission to view the full content of this post. Log in or register now.
Ang maganda sa GPT4ALL supported niya yung paggamit nyan in CPU-mode (kung wala kayong GPU) kaya yung RAM requirement na lang ang inyong intindihin ayon sa compatible model na kaya ng pc ninyo. Yung CPU at GPU mode ay gagana side-by-side automatically kung meron kayong mga hardware na yan at required runtime libraries and dependencies. Sa GPU-mode ay VRAM rin ang kailangan. Basahin ninyo yung documentation/FAQ para malinat at maayos ang paggamit ninyo nyan. Siyempre, kung mahina cpu ninyo at maliit ang ram, mabagal yan and vice versa - at least free offline. Kung gagamit kayo ng malaking model na mataas ang RAM o VRAM requirement, siguraduhin ninyong kaya ng hardware ninyo. Yung inference speed at performance nyan sa pinili ninyong mode ang magdidikta sa models na gagamitin ninyo ayon sa hardware na gamit ninyo - so to speak!
Ang alam ko pang requirement nyan ay AVX or AVX2 supported cpu bukod sa RAM (cpu) at the least. AT yung nakalagay na ram requirement means "available" ram in real time. (Dati kasi ay hiwalay ang builds ng AVX at AVX2 installer, pero di ako sure sa ngayong releases. Magbibigay ng warning yan kung di pasok ang hardware ninyo.)
Pwede rin yan gamitin using CLI or via CMD line.
Visit their dev site: You do not have permission to view the full content of this post. Log in or register now.
Check nyo na lang sa Open LLM Leaderboards kung ano yung rank or elo rating ng GPT/LLM na gagamitin ninyo.
Ex. You do not have permission to view the full content of this post. Log in or register now.
Kung gusto ninyong mag-sample test sa mga GPT4ALL models, hanapin ninyo na lang sa Huggingface Spaces yung demo server ng bawat models nyan.]
Ex.
You do not have permission to view the full content of this post. Log in or register now.
Or, check nyo dito sa link sa baba kung may spaces na running sa models na included sa link:
You do not have permission to view the full content of this post. Log in or register now.
Ang accuracy, depende sa topic ng query at model used. Merong mga LLM/GPT na halos umabot na sa GPT3-3.5 ang antas sa isang area ng knowledge pero sa iba ay mababa. Yang offline GPTs ay maliit ang data parameters, datasets at token parameters kaya natural ay hindi yan aabot ang antas sa 175 billion parameters sa kahit unang version ng free GPT 3.5 o kahit kay Davinci model ng OpenAI. Check ninyo sa benchmarks ng mga LLM kung saan sila may advantage. Habang lumalaki yung data parameters, datasets at token limits ng models, mas mataas malamang ang antas ng knowledge nila in general. Pero kailangan mo ng mas mataas na hardware requirement to run it offline - higher RAM or GPU with high VRAM. Sa mas malalaking models supported ng GPT4ALL client outside its site from Meta like LLAMA2, RedPajama, Mosaic's MPT, etc., a high-end GPU is needed including higher CPU/RAM requirement as well. Sa ngayon, yung open source LLAMA2 70B (by Meta) at Mixtral 8x7B (by Mistral) ang halos pumantay sa tests vs GPT3.5.sino nakapag try nito? mas accurate ba yung result? baka kasi mas better at accurate ang answer sa online.