Home-theater-designers
ChatGPT telah melanda dunia teknologi, dan tidak ada kekurangan kemajuan dan kemas kini. Tetapi walaupun menggunakan teknologi canggih, terdapat beberapa faktor yang mengehadkan dalam versi semasa.
Salah satu faktor tersebut ialah sistem token, yang terus memecahkan kitaran evolusi, menjadikan utiliti apl itu bertekuk lutut. Jika anda menggunakan ChatGPT, anda mungkin ingin mengetahui tentang token ChatGPT dan perkara yang perlu dilakukan apabila anda kehabisan token.
peranti ini mungkin tidak disokongMAKEUSEOF VIDEO OF THE DAY SCROLL UNTUK MENERUSKAN KANDUNGAN
Mari kita berundur dan memberi anda gambaran tentang semua yang perlu diketahui tentang mekanisme kerja asas apl.
Apakah itu Token ChatGPT?
Jika anda pergi ke hadapan apl, yang anda lihat hanyalah bahasa komputer yang mematuhi arahan anda dan memberi anda jawapan yang anda cari. Walau bagaimanapun, bahagian belakang hanyalah banyak kod, belajar setiap minit dan cepat dengan soalan yang dijawabnya.
ChatGPT menukar setiap perkataan menjadi token yang boleh dibaca apabila anda bertanya soalan. Untuk memecahkannya dengan lebih lanjut, token ialah serpihan teks, dan setiap bahasa pengaturcaraan menggunakan set nilai token yang berbeza untuk memahami keperluan.
Memandangkan komputer tidak memahami nilai teks secara langsung, mereka membahagikannya kepada gabungan nombor, selalunya dipanggil benam. Anda juga boleh mempertimbangkan pembenaman seperti Senarai Python , yang menyerupai senarai nombor yang berkaitan, seperti [1.1,2.1,3.1,4.1…n].
Sebaik sahaja ChatGPT mengambil input awal, ia cuba meramalkan kemungkinan input seterusnya berdasarkan maklumat sebelumnya. Ia memilih keseluruhan senarai token terdahulu dan, menggunakan sintesis pengekodannya, cuba mendahului input berikutnya oleh pengguna. Ia menggunakan dan meramalkan satu token pada satu masa untuk menjadikannya lebih mudah untuk bahasa memahami penggunaannya.
Untuk meningkatkan ramalan dan mempertingkatkan ketepatan, ia mengambil keseluruhan senarai pembenaman dan melepasinya melalui lapisan pengubah untuk mewujudkan perkaitan antara perkataan. Contohnya, apabila anda bertanya soalan seperti 'Siapa Thomas Edison?', ChatGPT mengambil perkataan yang paling berharga dalam senarai: WHO dan Edison .
Lapisan pengubah mempunyai peranan mereka dalam keseluruhan proses. Lapisan ini ialah satu bentuk seni bina rangkaian saraf yang dilatih untuk mengambil kata kunci yang paling berkaitan daripada rentetan perkataan. Walau bagaimanapun, proses latihan tidak semudah yang disangkakan, kerana ia mengambil masa yang lama untuk melatih lapisan pengubah pada gigabait data.
Walaupun ChatGPT meramalkan hanya satu token pada satu masa, teknologi auto-regresifnya diprogramkan untuk meramal dan memberi suapan semula ke dalam model utama untuk mengeluarkan output. Model ditala untuk dijalankan sekali sahaja untuk setiap token, jadi hasilnya dicetak satu perkataan pada satu masa. Output berhenti secara automatik apabila aplikasi menemui arahan token berhenti.
Sebagai contoh, jika anda melihat kalkulator token di laman web ChatGPT, anda boleh mengira asas penggunaan token anda soalan anda.
Mari masukkan beberapa contoh teks, seperti:
How do I explain the use of tokens in ChatGPT?
Mengikut kalkulator, terdapat 46 aksara dalam rentetan ini, yang akan menggunakan 13 token. Jika anda memecahkannya kepada ID Token, ia kelihatan seperti ini:
[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]
Seperti yang Kalkulator token OpenAI :
kod ralat: m7701-1003