נתונים

תנאי גזירה

מסד הנתונים Open Food Facts זמין בכפוף לרישיון Open Database (מסדי נתונים).
התוכן הפרטני במסד הנתונים כפוף לרישיון Database Contents (תכני מסדי נתונים).
תמונות המוצרים זמינות בכפוף לרישיון Creative Commons Attribution ShareAlike (ייחוס-שיתוף זהה). הן עשויות להכיל רכיבים חזותיים שעשויים להיות כפופים לזכויות יוצרים או לזכויות אחרות שניתן בחלק מהמקרים לעשות בהם שימוש מחדש (זכויות ציטוט או שימוש הוגן).

נא לקרוא את תנאי השימוש והגזירה לפני גזירת הנתונים.

נא לספר לנו על הגזירה שלך

מאוד מעניין אותנו ללמוד למה משמשים הנתונים של Open Food Facts. לא חובה אבל נעריך מאוד לשמוע ממך על הנגזרת שלך כדי שנוכל לשתף אותה עם קהילת Open Food Facts. אפשר גם למלא את הטופס הזה כדי להגדיל את הסיכויים שהיישום שלך יוצג לקהל הרחב.

ייצוא הנתונים של Open Food Facts

היטלים ותוצרי ייצוא של מסד הנתונים נוצרים מדי לילה. מסד הנתונים גודל מאוד, לכן ניתן למצוא דרכים שונות להשתמש בנתונים, בהתאם לצורת הייצוא.

ניתן למצוא מידע על השדות השונים של אוספי ה־MongoDB ותוצרי ה־CSV בכתובת https://world.openfoodfacts.org/data/data-fields.txt

יצוא נתונים של MongoDB

נתוני כל המוצרים שלנו זמינים במאגר ייצור נתונים של MongoDB.

קישור

https://static.openfoodfacts.org/data/openfoodfacts-mongodbdump.gz

sha256sum

https://static.openfoodfacts.org/data/gz-sha256sum

md5sum

https://static.openfoodfacts.org/data/gz-md5sum

ייצוא הבדלים

ייצוא הבדלים יומי מסופק עבור 14 הימים האחרונים. ניתן למצוא את רשימת קובצי ההבדלים הזמינים כעת תחת https://static.openfoodfacts.org/data/delta/index.txt.

כל שורה מייצגת קובץ שזמין תחת https://static.openfoodfacts.org/data/delta/{filename}.

שם הקובץ מכיל חותמות זמן יוניקס של השינוי הראשון והאחרון שכלול בקובץ ה־JSON כדי שניתן יהיה לייבא את קובצי ההבדלים (לאחר חילוץ) באמצעות mongoimport בסדר אלפביתי.

נא לשים לב שטבעו של mongoexport מאלץ מצב שבו קובצי השינויים לא יכולים לספר לך על מוצרים שנמחקו. כדי להסיר מוצרים שנמחקו ממסד הנתונים שלך, יהיה עליך לייבא את ההיטל המלא של MongoDB.

יצוא נתונים ב־CSV

מסד הנתונים השלם זמין גם בתצורתJSONL (לפעמים נקרא גם LDJSON או NDJSON) בו כל שורה היא פריט JSON. הוא מייצג את אותם הנתונים כמו בייצוא של MongoDB. הקובץ דחוס ב־gzip.

קישור

https://static.openfoodfacts.org/data/openfoodfacts-products.jsonl.gz

דרך הולמת לנצל את מסד הנתונים לרעה היא להשתמש ב־DuckDB, כלי ניתוחי פנים תהליכי שתוכנן לעבד כמויות גדולות של נתונים בשברירי שנייה. אפשר לקרוא את הרשומה בבלוג שלנו בה אנו חוקרים ומעבדים את מסד הנתונים של Open Food Facts עם DuckDB

יצוא נתונים ב־CSV

גרסה מפושטת של היטל ה־JSONL זמין גם בתצורת פרקט/Parquet. במהלך ההמרה, סיננו עמודות שמכילות פרטים כפולים, כאלה שמשמשים לניפוי שגיאות פנימי או שהם פשוט לא מעניינים את המשתמשים.

תבנית פרקט/Parquet הוכחה כשימושית:

• הנתונים מסודרים לפי עמודה, במקום לפי שורה, מה שחוסך בשטח אחסון ומאיץ את שאילתות הניתוח, כלומר, ניתן לבחור את העמודות שחשובות לך ובכך למטב ביצועים, אפילו במחשבים חלשים.
• דחיסת ופריסת נתונים יעילות במיוחד, מה שהופך אותה למיטבית לשיתוף סדרות נתונים גדולות מכל סוג שהוא
• תמיכה בסוגי נתונים מורכבים ומבני נתונים מקוננים מתקדמים.

סדרת הנתונים זמינה ב־Hugging Face, מערכת למידת מכונה בה מתכנתים וחוקרים יכולים לשתף מודלים ונתונים.

קישור

https://huggingface.co/datasets/openfoodfacts/product-database/resolve/main/food.parquet?download=true

אפשר למצוא מידע בוויקי, כולל הנחיות לגזירת נתונים ושאילתות לדוגמה למתחילים.

יצוא נתונים ב־CSV

הנתונים של כל המוצרים או חלקם, ניתנים להורדה בתבנית CSV (נתמכת על ידי LibreOffice, Excel ועוד תוכנות גיליונות נתונים) דרך טופס החיפוש המתקדם.

קישור

מזון: https://static.openfoodfacts.org/data/en.openfoodfacts.org.products.csv.gz (CSV דחוס ב־GZIP‏: ~ 0.9 ג״ב, ללא דחיסה: ~ 9 ג״ב)

טיפוח: https://static.openbeautyfacts.org/data/en.openbeautyfacts.org.products.csv.gz

מזון לחיות מחמד: https://static.openpetfoodfacts.org/data/en.openpetfoodfacts.org.products.csv.gz

כל השאר המוצרים: https://static.openproductsfacts.org/data/en.openproductsfacts.org.products.csv.gz

קידוד הקובץ הוא Unicode UTF-8. התו המפריד בין שדות הוא <tab> (טאב).

עקרונות כלליים

מסד הנתונים זמין גם בתסדיר RDF (ניסיוני, לא מתוחזק באופן פעיל יותר). אפשר לקרוא את ההכרזה בצרפתית.

קישור

https://world.openfoodfacts.org/data/en.openfoodfacts.org.products.rdf.gz

דרושה עזרה עם OpenAPI

אפשר להוריד את כל התמונות ואת תוצאות המרת תמונה לטקסט מהשרת שלך או מ־AWS (דרך התוכנית AWS Open Data). Check out our documentation to learn more about how to download images

תיעוד OpenAPI ל־API בתצורת JSON

API בתצורת JSON גם כן זמין לטובת קריאת נתונים על מוצר. ה־API הזה במיוחד משמש את היישומון לניידים של Open Food Facts.

אנו משפרים את ה־API עם הזמן אך אנו מקפידים מאוד לשמור על תאימות לאחור. נא ליצור קשר אם הוא משמש אותך, כדי שנוכל לעדכן על שינויים אפשריים.

למידע נוסף על ה־API שלנו

תרומה לשיפור תיעוד ה־API וה־OpenAPI שלנו

אנו נשמח מאוד לסיים את תיעוד ה־API, להוסיף מקרי בוחן ולייצר אוטומציה של יצירת SDK. אם OpenAPI זה הצד החזק שלך, מאוד נשמח לקבל עזרה.

אנו מזמינים אותך להשתמש ב־API למטרות פעילות מבצעית, כל עוד כל קריאת API שוות ערך לסריקה אמתית של משתמש. כל ניסיון לדלות את מסד הנתונים כולו דרך ה־API ייחסם כיוון שתוצאי ייצוא מלאים יומיים זמינים בעמוד זה ממש.

כמו כן, שליחת כותרות HTTP עם קריאות ה־API שלך היא דרך מצוינת בה נוכל ליצור אתך קשר במקרה שיש תקלות כלשהן.

XML API (לא נתמך)

הקוד של היישומונים הרשמיים של Open Food Facts זמין ב־GitHub Flutter Kotlin Android Swift iOS

לדוגמה: https://world.openfoodfacts.org/api/v2/product/737628064502.xml

ה־API הזה לא מתוחזק באופן פעיל, ולא מתועד רשמית.

מעטפות וערכות SDK

כנראה שיש לנו מעטפת לשפת הפיתוח המועדפת עליך. אם יש לנו, ניתן להשתמש בה ולשפר אותה. אם אין לנו, ניתן לעזור ביצירתה.

אנו מזמינים אותך לעשות שימוש חוזר בקוד המקור (הפתוח) ולסייע לנו לשפר אותו, למען כולם, בכל רחבי העולם.

אם המשתמשים שלך לא מצפים לתוצאות מיידית (למשל: יישומוני מאגרים)

• Cordova:‏ GitHub (היישומון הרשמי הישן של Open Food Facts).
• DART: GitHub
• Elixir:‏ GitHub

אם המשתמשים שלך מצפים לתוצאות מיידית (למשל: יישומוני תזונה)

• מגישים תמונות (חזית/תזונה/רכיבים): הדבר הכי פחות מעיק על הלקוחות שלך
• רובוט הבינה המלאכותית של Open Food Facts -‏ Robotoff - יגזור נתונים מהתמונות
• עם הזמן, יישומונים אחרים וקהילת Open Food Facts ימלאו את פערי הנתונים

יישומון Android/iPhone/Flutter לניידים

• מגישים עובדות תזונתיות + קטגוריה > מקבלים Nutri-Score
• מגישים רכיבים > מקבלים קבוצת NOVA (על אולטרה עיבוד של מזון), תוספים, מעוררי רגישות, רכיבים מיוצבים, צמחונות, טבעונות…
• מגישים קטגוריה + תוויות > מקבלים בקרוב את ה־Eco-Score (על ההשפעה על איכות הסביבה)

ערכות SDK

אפשר לעיין בשו״ת הנפוצות על API וייצוא נתונים ושאלות נפוצות על Open Food Facts

אנחנו שוקלים להפוך את בסיסי הקוד של Kotlin ו־Swift ל־SDKs של Kotlin ו־Swift, נשמח לעזרה :-)

אפשר לפתוח שרשור במאגר תיעוד ה־API שלנו

לכל שאלה בנוגע לנתונים, ניתן ליצור אתנו קשר בכתובת contact@openfoodfacts.org

ערכות SDK

סמל	שפה / תשתית	משאבים	דיונים
	Cordova (היישומון הישן)	Github	לא זמין
	DART	GitHub pub.dev	לא זמין
	Elixir	Github	ערוץ Slack
	קדימה	Github	ערוץ Slack
	Java	Github	ערוץ Slack
	Spring Boot	Github	ערוץ Slack
	Kotlin	Github	ערוץ Slack
	JavaScript	Github	ערוץ Slack
	PHP	Github	ערוץ Slack
	PHP (Laravel)	Github	ערוץ Slack
	Python	Github	ערוץ Slack
	React Native	Github	ערוץ Slack
	Ruby	Github	ערוץ Slack
	חלודה	Github	ערוץ Slack
	R	Github	ערוץ Slack
	Swift	Github	ערוץ Slack
	‎.NET/C#‎	Github	ערוץ Slack

דיון על נתונים, API ועל נתונים מיוצאים

אפשר לעיין בשו״ת הנפוצות על API וייצוא נתונים ושאלות נפוצות על Open Food Facts

ניתן להצטרף לחדר ה־Slack של Open Food Facts שזו הדרך המועדפת לשאול שאלות ולדבר על ה־API. נא לשאול את השאלות שלך בערוץ ‎#api

אפשר לפתוח שרשור במאגר תיעוד ה־API שלנו

לכל שאלה בנוגע לנתונים, ניתן ליצור אתנו קשר בכתובת contact@openfoodfacts.org